“我实在不能放你。暂且过几天再说吧！”
这一过过了十天，不见皇帝提起，在汤斌焦急无计；在余国柱等人，却当他是恋栈，看皇帝不准他辞官，大失所望，因而一不做，二不休，放出去一个极恶毒的谣言。
这个谣言是说，皇帝对汤斌异常不满，因为他不识抬举，要拿他纳入旗籍，汉人入旗，变为满军；归一旗的都统管辖，指定地方居住，等于行动失去自由，从此怕回不得家乡了。所以一时关心汤斌的人，无不大为着急。正好汤斌上朝，因为病体衰弱，由人扶着上轿，见到的人，以为汤斌是被qiáng制执行，奔走相告，说“汤尚书入旗了！”于是有人为他掉眼泪，有人为他奔走——大多是江南的京官，集会商议，决心去击“圣闻鼓”鸣冤。后来得到消息，说是属于误传，实际上并无其事，大家方始散去。
汤斌经此刺激，病体越发不支，但在这种局面之下，惟有委屈隐忍，抱病入宫；皇太子一看汤斌的脸，大惊失色，“师傅！”他说：“你病得这个样子！”
皇太子很敬重汤斌，当天就去见皇帝，将他的情形详细奏陈。皇帝考虑之下，认为汤斌不宜再担任辅导东宫的重任务，因而一面遣御医为他诊治；一面将他调为工部尚书。
就在这一天，内阁奉旨议事，汤斌因为东宫进讲的缘故，自然不能参加，只是忘掉声明；这一下，左都御史王鸿绪便又算抓住他的短处了，指使御史，上奏弹劾。
弹章一上，照例jiāo议，余国柱等人所拟的处分是，降二级调用——降二级实在是降七级，因为汤斌原有降五级调用的处分，特旨留任，如果此时奉准调用，当然连同前案，一并计算，立刻可以降为从四品的官员。
这是恶毒得已非常露骨的手法，蓄意要撵走汤斌，吏部尚书陈廷敬，心怀不平，要为汤斌说话，“最近刚有同样的案子，失朝不过罚俸半年，”他说：“何以独对汤斌尚书不公？”
余国柱等人不听，照原议复奏，以为这下子一定可以把汤斌打下去了。
再也没有想到，皇帝的批示是：“着即留任。”一而再，再而三地扳不倒汤斌，明珠和他的走狗们害怕了，相顾失色地表示，这不是一个好征兆，担心皇帝不是偏爱汤斌，是对他们的警告，言不听，计不从，祸将不远；同时也担心汤斌会因此报复。
确有人劝过汤斌报复。在他病中，来探望的络绎不绝，有人劝他委曲求全，向明珠说几句好话；或者托人出来，居间调解，汤斌当然不肯这么做，他泰然笑道：“我生平养命自安，如今年逾六十，夫复何求？”
再有些人是劝他采取qiáng硬的报复行动，像郭琇就是如此，“此辈小人，不给他一点颜色看，他们不晓得利害。”他说，“此辈的yīn私劣迹，都在老前辈的肚子里，何不拿它一股脑儿抖露出来？倒看看谁忠谁jian，谁善谁恶？”
“不！”汤斌不便说自己不愿多事，用轩太夫人来作推托，“老母在堂，不敢这样做！”
他是如此宅心仁厚，不肯伤人；而明珠、余国柱骑虎难下，准备找一个极严重的事由，如谋反大逆之类，掀起一场滔天的风波，置汤斌于死地。
于是首先指使国子监祭酒翁叔元，上奏指汤斌的理学是“伪学”，也就是指汤斌为伪道学。这个昧良心的奏折，为翁叔元带来了“加官之喜”，明珠保荐他升了少詹事，但也为他带来了一场传遍京师的大羞rǔ。
政治有是非，或者不是局外人所能了解，所以同情汤斌的人，亦无从为他声援，但学术是天下的公器，汤斌的理学以及他个人的修养实践，昭昭在人耳目，岂容污蔑？而且政治的争斗，牵涉及于学术，竟至诬指其为“伪学”，无论如何是件不可恕的事，因此翁叔元为士论所不齿，其中最不平的两个人，除了口诛以外，还展开了笔伐。
这两个人，一个就是皇帝亦久闻其名的“三布衣”之一，因为保荐误时，未能参加“博学弘词”荣典的姜宸英。
姜宸英字西溟，浙江宁波人。当叶方蔼任明史总裁时，荐他充任纂修，食七品俸禄；并特许他参加会试，他在京师是个大名士，会试的考官，都以收录这个门生为荣，照常理说，进士及第应如探囊取物；谁知姜西溟嗜酒如命，每次入闱都喝得醺醺大醉，试卷违误了规定的格式，致考官爱莫能助。
有一次倒是没喝醉，写作俱佳，格式也对，缴卷时，受卷官随手翻一翻，指出一处问道：“这两句话，有出典吗？”
“那两句话出于李商隐的诗，”姜西溟不假思索地反问一句：“你没有读过李义山的诗？”
受卷官大怒，但亦无可如何，只有暗箭伤人，把他这本卷子摆在一边，不发誊录，考官根本看不见他的文章，自然无从取录。
以后他又为明珠慕名延聘为西席，纳兰性德对他的文采，倾倒备至，殷殷向学，师弟俩极为相得，但终于为了一句话，姜西溟拂袖而去。
事起于明珠有个宠仆，名叫安三，就像明朝严嵩的宠仆严年，为无耻士大夫尊称为“萼山先生”那样，安三亦在衣冠缙绅之列，奔走其门的，不知其数，而此人附庸风雅，希望一流大名土的姜西溟亦能假以词色，增添声价。
于是纳兰性德有一天对姜西溟说：“家父素来敬重先生，却不能有所助力，我亦不便进言，现在有一个人，如果先生肯少施颜色，则无事不谐。我亦知道这话对先生说是极大的唐突，只是先生今年六十了，尚未通籍，似不妨稍作委屈。”
“喔！”姜西溟止杯不饮，“你说的这个人是谁？”
“是——，”纳兰性德很吃力地说：“是安三！”
姜西溟将酒杯一推，霍地站了起来，厉声说道：“我原以为你是纳兰家的佳子弟，不料无耻如此！”说完夺门就走。
纳兰性德天性醇厚，只以一时鲁莽，说了不该说的话；见此光景，悔恨不及，赶紧上前牵住姜西溟的衣服，哀声请罪：“先生，先生！我错了，千万宽恕我这一回！”
姜西溟掉头不顾。事后，纳兰性德千方百计想挽回其事，而毕竟不能如愿。但纳兰性德对他，始终敬礼不改；不久姜西溟倦游南归，纳兰性德做了三首词送他；第一首是自创格调的所谓“自度曲”，题名《潇湘钟》，在倦倦之情中，隐隐有请罪之意：
长安一夜雨，便添了几分秋色！奈此际萧条，无端又听渭城风笛；咫尺层城留不位，久相忘，到此偏相忆。依依白露丹枫，渐行渐远，天涯南北。凄寂！黔娄当日事，总名士如何消得？只皂帽蹇驴，西风残照倦游踪迹。号载江南犹落拓，叹一人知己终难觅。君须爱酒能诗，鉴湖无恙，一蓑一笠。
等姜西溟重到京师，纳兰性德已经以三十一岁的英年，“七日不汗”而死；而姜西溟的性情，依然如他的姓那样，“姜桂之性，老而愈辣”，他跟翁叔元本来是朋友，此时卑视其人，写了一封长信，痛加讥责，当然，从此也绝jiāo了。