次日，值得纪念的1937年11月21日，上午染坊店的阿康师傅从石门镇奔来，说缘缘堂门口已架了机枪，木场桥堍摆起了大pào，听说桐乡已经开火了。(阿康后来在梅纱弄里碰着日寇，被刺死于刺刀之下。)大人们整理了行物，凡不易带而且可以不用的，通通分送了村人，只带两担铺盖、一只箱子。下午，丙伯的船开到。我家除父母和六子女外，加上满娘和外婆，共十人。平伯同行。还有染坊店的章桂，爸爸喜其年轻gān练，征得他本人和他父亲的同意，也一起走。我事后听章桂哥说，他爸爸给他20元供逃亡用。那时候20元是个大数目，难为老人家省出来给儿子。章桂哥把它珍藏在鞋底。可是一路奔波，竟把这来之不易的20元踩成了模糊不清的碎屑。
怀着痛心的惜别情绪，我们离开了南圣浜，往四五公里以外丙伯的家乡悦鸿村进发，开始了行程数千里、长达九年的流亡生活。
那时我们几个孩子什么也不懂，只觉得很好玩：经常换地方，看到新鲜的东西，美丽的风景。一路生活虽然苦些，但小孩似乎适应性qiáng，不在乎。
在潇潇暮雨中，傍晚船到了悦鸿村。这么多人都在丙伯家吃晚饭。丙伯的父亲有两个都已成家的儿子，决定留下长子一家，让丙伯一家三口跟我们走。那天我们这么多人竟还在他家睡了几小时。半夜起身，丙婶妈把钞票缝在孩子的棉衣领里、背心里和袖子里了。他家又为我们办了两桌半夜饭，15人匆匆上船。
之所以半夜开船，当然是为了安全。但天总是要亮的，而且这一天偏偏大晴。北方传来隆隆之声。担心敌机来扫she，上午就在一棵大树下停泊了。我们上岸走走。岸上有一座白云庵，庵里一位老太太正在灶间里煮芋艿。爸爸给她些钱，托她煮了一些芋艿作为早饭充饥。
前面那首逃难诗，中间记不起来，后面又记起了一段：
……幸遇张连长。……平伯丙伯来，逃难共商量。
忙派超三伯，送信×××。……船到悦鸿村，半夜闹一场。
松下房栊静，满室×月光。……连夜×点心，忙碌到五更。
jī蛋一大篮，粽子十八双。……庵里吃芋艿，濮院pào声响。
我们吃那芋艿，觉得比什么都香。下午不得不上了船，继续往塘栖进发。路上碰到对面开来的兵船拉夫。虽然是自己国家的兵，我们也吓得要命。丙伯船的一个小名叫“丫头”的摇船壮汉被他们硬拉了去，说好摇30里放他回来。爸爸觉得对不起“丫头”，便和他约定在塘栖等他。船继续往前开。
后来据章桂哥说，船到新市，爸爸想出个好主意，上岸去买了一套军装，还是有斜拉皮带的，让20岁的章桂哥穿上，站在船头。这一招还真管用。前面来的兵船见有“长官”站在船头，谁敢再来拉夫。两船匆匆而过，也看不清这个“长官”是没肩章的。这一路到塘栖都平安无事。可是到了塘栖，看见所有的商店都变成了兵营。我们不敢在这里等“丫头”，只能往前开了。爸爸觉得对不起“丫头”，请船人带去加倍的工资给他。可是谁又知道“丫头”终于是否能回到家里芽选
半夜，船到杭州的拱宸桥。大家肚子饿了，船上可以煮饭，但有饭没菜。幸亏丙婶妈在枕头里装满了一袋青烘豆。于是用青烘豆加了船上的酱油下饭，吃得津津有味。“饥者易为食”，但青烘豆浸酱油其实本来就是一道美味的菜肴。如今，每到秋间毛豆出地时，我就能从故乡弄到青烘豆，隔天浸好酱油，吃起来较软，就像“酱豆”一样。“酱豆”现早已失传。但我自制的酱油浸烘豆，不仅成为我自己的美味粥菜，亲友们知道后也都纷纷仿效。谁又知道这办法竟源出于逃难时拱宸桥的一顿半夜饭!
爸爸吃了半夜饭，上岸打听，形势已很紧张，桐乡的日寇正在杀人放火。汽车哪里叫得着!只能步行。要步行，必须再一次jīng简行李。这么多人本来就只带了两担铺盖、一只皮箱。再怎么jīng简呀?但现在jīng简出来的东西还可以jiāo船人带回悦鸿村，不致抛弃路旁。于是，大人们动起手来。从皮箱里拣出了一些必需品，把皮箱jiāo给了摇船的人带回去。爸爸叫大家再睡一会，以便次日赶路。自己却睡不着。他在《桐庐负暄》一文中写道：
我想起了包裹里还有一本《日本帝国主义侵略中国史》和月前在缘缘堂时根据了此书而作《漫画日本侵华史》的草稿。我觉得这东西有危险性。万一明天早晨敌人追上了我，搜出这东西，船里的人都没命。我自己一死是应得的，其他的老幼十余人何辜?想到这里，睡梦中仿佛看见了魔鬼群的姿态和修罗场的状况，突然惊醒，暗中伸手向包裹中摸索，把那书和那画稿拉出来，用电筒验明正身，“东”的一声，似乎一拳打在我的心上，疼痛不已。我从来没有抛弃自己的画稿。这曾经我几番的考证、几番的构图、几番的推敲，不知堆积着多少心血，如今尽付东流了!但愿它顺流而东，流到我的故乡，生根在缘缘堂畔的木场桥边，一部分化作无数鱼雷，驱逐一切妖魔;一部分开作无数自由花，重新妆点江南的佳丽。我坐着蒙眬就睡，但听见船舱里的孩子们叫喊。有的说胸部压痛了，有的说脚扯不出了，有的哭着说没处睡觉。他们也是坐着互相枕藉而就睡的，这时吃不消而叫喊了。满哥被他们喊醒，略为安排，同时如泣如诉地叫道：“这群孩子生得命苦!”其声调极有类于曼殊大师受戒时赞礼僧所发的“悲紧”之声，在后半夜的荒寂的水面上散布了无限的yīn气。我又不能入睡了。
清晨五点，大家带了jīng选的两担行李上岸。好容易找到两个人挑了。轻物由各人手提。还有两个被包，包内有两条最上等的丝绵被和几件较新的衣服，再也带不动，爸爸擅自把它们放弃在船里了。以后每逢冬天就惋惜，妈妈甚至埋怨爸爸太孟làng，蛮好再努力去找第三个挑夫的。但爸爸肩负着一家和亲戚十余口的存亡，但求平安无事，哪里还顾得上这些!事后得知丙伯家在地方沦陷后又遭盗劫，我们寄存的东西都被抢走，jiāo船户带回的东西等于抛弃路旁。大家就更惋惜。
拱宸桥离六和塔有30里。15人中有13人能走。丙伯的3岁的儿子传农走不动，由丙伯背着。我外婆那时快70岁了，又是缠小脚的，哪里走得动。爸爸出重金请我们船上一个名叫“阿芳”的壮汉背她。但没走多少路，外婆说她的胸部贴在阿芳背上喘不过气来。幸亏平伯找到了一乘轿子，当然是出重价的，抬了外婆走，这才解决了问题。
我那时虚龄9岁，走15公里路还是第一次。实在走不动时，章桂哥背背我。但主要靠自己。我一路只晓得跟着大人走，甚至此行的目的地是何方也一无所知。直到上世纪80年代我开始研究爸爸的生平和创作时，找到爸爸的轶文《桐庐负暄》后，才知他在南圣浜举棋未定时，起初曾考虑过去祖籍地汤溪。他在《桐庐负暄》一文开头处是这样说的：
中华民国二十六(1937)年十一月下旬。当此际，沪杭铁路一带，千百年来素称为繁华富庶、文雅风流的江南佳丽之地，充满了硫磺气、炸药气、厉气和杀气，书卷气与艺术香早已隐去。我们缺乏jīng神的空气，不能再在这里生存了。我家有老幼十口，又随伴乡亲四人，一旦被迫而脱离故居，茫茫人世，不知投奔哪里是好。曾经打主意：回老家去。我们的老家，是浙江汤溪。地在金华相近，离石门湾约三四百里。明末清初，我们这一支从汤溪迁居石门湾。三百余年之后，几乎忘记了自己的源流。直到二十年前，我在东京遇见汤溪丰惠恩族兄，相与考查族谱，方才确知我们的老家是汤溪。据说在汤溪有丰姓的数百家，自成一村，皆业农。惠恩是其特例。我初闻此消息，即想像这汤溪丰村是桃花源一样的去处。……心中便起了出尘之念，想率妻子邑人投奔此绝境，不复出焉。但终于不敢遂行。因为我只认得惠恩，并未到过老家。……今我全无介绍，贸然投奔丰村，得不为父老所疑?即使不被疑，而那里果然是我想像的桃花源，也恐怕我们这班四体不勤、五谷不分的人一时不能参加他们的生活。这一大群不速之客终难久居。因此回老家的主意终归打消。正在走投无路而pào火bī近我身的时候，忽然接到马湛翁(吟按：即马一浮)先生的信。内言先生已由杭迁桐庐，住迎薰坊13号，并询石门湾近况如何，可否安居。外附油印近作五古《将避兵桐庐留别杭州诸友》一首。这封信和这首诗带来了一种芬芳之气，散布在将死的石门湾市空，把硫磺气、炸药气、厉气、杀气都消解了。数月来不得呼吸jīng神的空气而窒息待毙的我，至此方得抽一口大气。我决定向空气新鲜的地方走。于是决定先赴杭州，再走桐庐。这时候，离石门湾失守只有三十余小时，一路死气沉沉，难关重重。我们一群老弱，险些儿转乎沟壑。幸得安抵桐庐，又得亲近善知识，负暄谈义。可谓不幸中之大幸。其经过不可以不记录。