他的这些说明和争辩，得到的只是一句话：谭政的态度很不老实。
那时候有个很是时髦的说法，叫做新账老账一起算。有人出来算谭政的老账了：
“1944年，你谭政在西北局高gān会议上作的《关于军队政治工作问题的报告》是经过毛主席几次修改形成的。这是毛主席的著作，可用你的名义发表以后，你捞了多少政治资本?
”
听到这里，谭政忍无可忍了，他站起来说：“这个报告是我起草的，也是毛主席修改的，中央书记处讨论通过的，后来在大会上宣读，和在报上发表用我的名义，都是中央开会定下来的，我就是想用我的名义发表也发表不了哇!”
“这才是你的真实想法，你就是想借此捞政治资本!你还不承认!”
“你和组织部长刘其人，宣传部长姜思毅，秘书长白文华，解放军报总编辑欧阳文组成了一个反党集团!必须jiāo代你们的反党纲领!”
……
可以说，那些日子是谭政心情最坏的时候了。家人发现，他本来已经戒了好几年的烟又抽上了，而且是一支接一支不停地抽。他常常是被烟雾笼罩。有时候，他坐在椅子上，一言不发地坐着发呆，一坐就是半天。
谭政大将实在是想不通，这究竟是因为什么。死也要死个明白呀!
好心的朋友劝他说，你去找林总说一说嘛，他不去。
还有人建议他去找毛主席，他也没有去。
实在闷得难受了，他去了他的前任罗荣桓元帅家里。
他们之间也是几十年的相jiāo相知了。谭政来总政治部当主任，是罗帅给毛主席写信建议的。
谭政把罗帅当成兄长，平时有了什么想不通的事，他都要找这位老大哥。就是家里出了什么事，比如两口子闹意见了也是找罗帅给调解调解……
罗荣桓也知道了一些情况，见谭政来找他，就说：“你心里有什么事就尽管说吧。”
谭政心情很是激动，他说：“罗帅，这到底是怎么回事呢?”
罗帅虽说身体不太好，但对一些事情还是有所了解的，但有些话他也不好说。
“主席同意这么搞?”谭政还问。
“不要管怎么回事了，还是要振作起来，还是要工作的嘛!”
说这话时，大概罗帅也觉得没有力量，但他在当时的情况下又能说什么呢?
沉默了好一阵子，谭政又说：“我还能gān什么呢?”言外之意是，我都快成反党分子了，还能gān什么?
“过去长期在机关工作，有了时间可以下去搞点调查研究……”
两人谈了一阵子，也没有什么更好谈的，他们就分手了。
降为副主任以后，他的心情是不好
的，但还改不了他的“夫子”气……
谭政55岁那年，他正式被降为总政治部的副主任，同时也不再担任中央书记处书记，中央军委常委和国防部副部长。
这对一个政治家来说，不能说不是一个大的波折。从中可以接受什么样的经验教训，谭政心里是清楚的。但是他的那种“夫子”气却没改掉。
他由总政治部主任降为副主任后，分工管总参、总后和总政直属单位的政治工作，后来又加了一项公安部队的政治工作以及民兵政治工作。
在别人看来，这种安排实际上是不让你再工作了，副主任也是个有名无实的事儿。而谭政是那种给他个棒槌他就认真的人。他还真的当起了副主任。
——他跑了总参的直属单位，一个又一个的招待所，一个又一个通信站，看那里的政治工作是不是保持了战争年代的光荣传统。
——他跑了总政的八一电影制片厂，又跑八一体工大队。要人家谈怎样做好演员的思想工作，怎样正确对待比赛中的胜败……
——不是要他管公安部队的政治工作吗，他就下到了公安总队一些哨所，去和那里的战士促膝谈心……
——不是管后勤的政治工作吗，他就到武汉的一个被服厂去蹲点，一蹲就是3个月。
“大有收获，大有收获!”回到北京，见到了罗荣桓元帅，他很有几分兴奋。
他很详细地向罗帅讲起军事工厂的一些情况，说到了存在的一些问题，还把他带回来的几件不合格的衣服给罗帅看。
他还对罗帅说，有的军事工厂有问题，特别是生产军械弹药的工厂，那要是出了质量问题可是不得了!
罗帅也很是高兴地对他说：“好哇，好哇，你把调查的情况写个报告，也准备一个稿子，向军委汇报。”
于是，谭政就认真地准备起来了。手头的材料是现成的，他不用准备就能说出许多事情来，自己动手写提纲，认真和秘书凑材料。
材料准备好了，也向上面报告了，说叫他等，他就静静地等。一天过去了，没有消息，两天过去了，还是没有消息。等了几个星期，还是没有消息，他不能再等下去了，就又去找罗帅。
这时罗帅身体已经是越来越不行了，他自己也无能为力。
一天谭政正在总后参加会议，得到消息说罗帅不行了，他和李聚奎上将飞车赶到罗帅家里，也没能说上一句话。吊唁时不好有更多的表示，回到家里，他不禁失声痛哭……
1964年，一场轰轰烈烈的社会主义教育运动(四清)开始了。不少领导同志都下去了，谭政也决定下到基层去。
他下去的目的只有一个，就是改造自己的思想。
他选择了江西九江的一个军工厂。他的正式职务是工作组的组长。到厂的第二天，他就穿上工作服下车间劳动起来了。为了和工人打成一片，他改了一个谁也不知道的名字——唐一夫。
这又应了他的那个外号——“夫子”。
他在这个工厂正经当了半年多的工人，并努力使自己的思想感情和工人一致起来。
工人们对这个“老唐”很感兴趣，有什么话愿意对他说，甚至有的工人家里发生了矛盾也愿意找他去帮助解决……
既然是工作组的组长，就还要管一些事情。一天他接到江西省委的通知，到南昌去参加一个会议。
他带上秘书就去了。研究军工生产，他现在是有发言权的。
谁知来到南昌的当天晚上，秘书突然接到一个电话：
“请告诉谭政同志，他是犯了错误的，他没有资格参加这个会议。”
秘书觉得不对头，就问：“这是谁的意见?”
电话里说出了一个很响亮的名字。
秘书只能回答：“知道了。”
怎么和谭政老头说呢?秘书可是费尽了心思。实在没有办法，只好扯谎。
“谭政同志，会议改期了，我们要先回九江。”
谭政说：“不会吧，不是定好了的吗?”
秘书说：“刚刚改的。”
“不行，我要去问问他们，哪能这样不负责任，劳民伤财。”
秘书再次劝他：“首长，就不要再问了吧!”