1937年11月，豐子愷一家10口與族弟平玉、豐家染坊的學徒章桂一起逃難。豐子愷在文章裡說：“章桂自願相隨，我亦喜其幹練，決令同行。”
但據章桂回憶，他加入逃難隊伍並非自願，而是出於豐子愷的邀請，“我這一大家子，老的老、小的小，希望你能跟我一起走，協助照顧。”章桂表示願意，但要徵求父親的意見。章父只搓手，不答話，豐子愷說：“我會待他像自己的兒子一樣，你放心吧。”章父還是不答話，豐子愷接著說：“將來太平了，我回來定會還你一個完完全全的兒子。”章父這才點頭，誰知這次告別竟成永訣。
甚至到了1950年，豐、章兩家之間的怨氣還是剪不斷、理還亂。按說在豐子愷一家逃難的過程中，章桂出力甚巨，否則他們無法順利地從淪陷區逃到重慶，但他們的關係何致如此緊張呢？
1942年11月，經國立藝術專科學校校長陳之佛推薦，豐子愷當了該校的教務主任，並邀請章桂一道工作。陳之佛對章桂青眼有加，讓他擔任後勤總管。豐子愷的教務主任是個虛職，常在家“辦公”；而章桂的後勤總管則是實缺，大權在握，公務繁忙。
一天晚上，章桂拖著疲憊的身體回到借住的豐家，豐子愷坐在桌前看書。章桂收拾床鋪時，豐子愷忽然說：“你不用住在這兒了。”章桂不知所措，愣在當場，豐子愷又說：“你既然為陳之佛做事，就該去他家睡。”章桂憤然離開，他怎麼也想不明白，一向和顏悅色的豐子愷為何會下逐客令。他在外面兜了一圈，發現無處可去，只得厚著臉皮回到豐家。而讓他感動的是，門是虛掩的，說明豐子愷並非真要在半夜三更將他掃地出門。
作為學校員工，章桂為陳之佛做事不是理所當然的嗎，豐子愷怎會說出那句傷感情的話？據時人推測，大概因為豐子愷心理失衡—章桂原是豐家學徒，並無文憑，如今薪水、實權卻都在自己之上。
不久，豐子愷辭職做了自由畫家，教育部總務司請章桂到青木關工作，章桂徵求豐子愷的意見，豐子愷說：“別去了吧，青木關離重慶太遠，我不放心……我會設法替你另找工作。”然而抗戰勝利後，豐子愷一家決定出川回鄉，臨行前並未通知章桂。豐子愷的女兒說這是因為章桂沒向父親求援，否則父親會幫他的—這樣的解釋顯然不能讓人滿意。
章桂也曾萌生回鄉與父親團聚的想法，但當時他已成家，有六個孩子，經濟上捉襟見肘，無力籌到足夠的盤纏，只能在異鄉辛苦掙扎。1957年，他被打成“右派”，到某邊遠銅礦服苦役，妻子無力養活孩子，他拼死申請回鄉當農民。
章桂費盡周折回鄉後，父親已離世，而妻子因深度近視無法幹活，他一人根本養活不了全家。得知章桂的困境後，很多朋友紛紛伸出援手，豐子愷卻按兵不動。章桂一氣之下給豐子愷寫了封信，怨他忘恩負義、背棄諾言，在結尾處說：“慈伯，難道您真就忍得下心嗎？”
這聲浸透淚水的“慈伯”似乎並未打動豐子愷，兩週後他收到回信，落款是豐華瞻—豐子愷的兒子。豐華瞻在信中說：“你既然把我的父親當作你的父親，就該孝敬他，怎能埋怨他沒照顧你呢？你是誰，我的父親又是誰，你們怎能平起平坐？”章桂想起當年自己對豐家的貢獻，實在寒心，於是又回了封駁斥的信，豐子愷惱怒地說：“我本想幫他的，被他頂撞後就決定不幫了。”
後來，豐子愷在給幼子的信中重提此事，說章桂是流氓，藉機敲詐還辱罵豐華瞻，如果他親自謝罪，倒可借給他15元。如果這不是豐子愷的氣話，那就是誇大其詞了。章桂處境艱難是實事，而那封回信的措辭雖不太客氣，但遠談不上“敲詐”；如果章桂真是“流氓”，又怎會有那麼多朋友願意幫他？
豐子愷對章桂的冷漠與吝嗇似乎是個特例，因為他對別人卻很熱心。在給幼子寫了上述那封信後不久，一個素不相識的江西青年慕名來訪，豐子愷不僅留他在家中住了兩天，還慷慨資助他10元。
豐子愷這般厚此薄彼的行為實在讓人捉摸不透，大概正像作家毛姆所說：“小氣與大方、怨懟與仁慈、憎恨與熱愛，可以並存於同一顆心。”