中央书记处这一时期多次召开会议，讨论中央和国家机关的机构改革问题。一九八一年十月十五日，中央书记处会决议定中央机关机构改革由胡耀邦、赵紫阳主持，中央直属机关机构改革由习仲勋牵头，宋任穷、冯文彬、邓力群等参加;国务院机关机构改革由万里牵头，余秋里、谷牧、姚依林、袁宝华等参加。十一月九日，中央书记处决定由习仲勋、万里分别负责制定中直机关和国务院机构改革方案，提jiāo中央书记处会议讨论。习仲勋、万里组织力量，经过近两周的艰苦工作，在前期工作的基础上起草了《关于中直机关机构改革方案》和《关于国务院jīng简机构和人员的意见》。十一月二十三日，中央书记处会议对这两个文件草案进行了讨论。二十七日，中央书记处会议又一次讨论，基本同意两个文件，决定提jiāo中央政治局扩大会议讨论。
一九八二年一月初，中共中央政治局讨论中央机构jīng简问题，原则同意《关于中直机关机构改革方案》和《关于国务院jīng简机构和人员的意见》。在这次会上，邓小平严肃指出：“如果不搞这场革命，让党和国家的组织继续这样的机构臃肿重叠，职责不清，许多人员不称职、不负责，工作缺乏jīng力、知识和效率的状况，这是不可能得到人民赞同的。”“这场革命不搞，让老人、病人挡住比较年轻、有于劲、有能力的人路，不只是四个现代化没有希望，甚至于要涉及亡党亡国的问题。”
一月二十八日，中央书记处再次讨论中央机关的jīng简问题，通过《中央书记处各同志对jīng简整编机构工作的分工》意见。中直机关由习仲勋总负责，冯文彬协助，负责的单位是中央办公厅、中央调查部、中央书记处研究室、中央党校、全国总工会、共青团中央、全国妇联、全国人大常委会机关等。
这次中央机关机构改革的目的，是jīng简机构、压缩编制，建立正常的gān部离退休制度，使一批老同志退下来，选拔一批年轻的gān部进入领导班子，实现gān部革命化、年轻化、知识化、专业化。习仲勋要求，中直机关gān部要从生产关系重大变革的角度来认识机构改革的重大意义。他指出，党中央这个决心下得对，是一项战略决策，具有深远的历史意义。jīng简机构是一场深刻的革命，触及到每个人。老同志退下来也是革命。他说，退下来的老同志于什么?有的同志jīng力还很充沛，有的同志还有剩勇余力，要“余热”利用，还可以为党为人民做许多事情。
习仲勋对中直机关的gān部说，必须按照德才兼备的原则选拔十部，尤其是中青年gān部。所谓德，最主要的就是坚持社会主义道路和党的领导。在这个前提下，gān部队伍要年轻化、知识化、专业化。他还着重指出，要通过机构改革，采取适当的过渡办法，逐步废除gān部领导职务的终身制，建立有利于大量培养、选拔优秀的中青年gān部到各级领导岗位的新制度，保证我们党和国家的事业继往开来、持续发展。机构改革不仅要解决gān部年轻化的问题，而且要解决官僚主义、办事拖拉、工作效率低的问题。因此，机构改革是适应历史发展的客观要求，合乎人民心愿的一场深刻革命，绝不是简单地为了撤并一些机构，减少几个gān部。如果把机构改革看成仅仅是为了减少机构和工作人员，那就没有认识到这次改革的根本目的和深渊意义。
中直机关机构改革方案经中央批准后，习仲勋一个单位一个单位地调查研究，按照单位的特点jīng心组织、分类指导、具体落实，他多次与部门领导和有关gān部谈话，耐心细致地做思想工作。
在全国总工会、共青团中央、全国妇联机关的机构改革工作中，注意体现群众团体的特点，进行分类指导，就很能说明习仲勋的工作风格。习仲勋在工作中非常注意从实际出发，按照具体情况开展工作。他认为，工会、共青团、妇联是群众组织，组织机构、人员配备、活动内容、工作制度、工作方法、工作作风等等，都要有利于密切联系群众，充分反映群众的意愿和要求，维护群众正当的权利和利益。他把机构改革方案和群众组织单位的工作实际紧密地结合起来，要求工、青、妇“搞一个jīng简的方案，搞一个jīng简的机构，造成一个好传统”，使它们真正成为群众自己的组织。这三个群众组织在习仲勋的直接指导下，机构得到jīng简，领导班子得到加qiáng，建立了一系列联系群众的制度，形成了各具特色的工作特点。
从中央调查部机构改革的过程中，可以看出习仲勋工作的细致和耐心。中央调查部在“文化大革命”中受到严重冲击遗留问题比较多，机构改革难度较大。习仲勋为了很好地解决这个部的问题，先后同调查部的负责人罗青长、陈忠经、冯基平、王涛江等谈话，做深入细致的工作。一九八二年四月九日，在弄清情况的基础上，他又与调查部的十二位领导gān部一起愿谈，因为有年龄偏大的gān部要退下来，所以还特别请中央组织部副部长赵振清一起听取意见。
在座谈会上，习仲勋首先肯定调查部的工作，他说，调查部胜中央的一个重要工作部门。长期以来，广大gān部战斗在这条特殊的、隐蔽的战线上，工作做得是好的，有很大成绩，这一点一定要充分肯定。解放战争时期，熊向晖、陈忠经同志在胡宗南那里搞情报，熊向晖同志钻到了胡宗南的心脏，当了机要秘书，他很有才华，搞了很多重要情报。调查部班子的一个特点就是不少同志长期从事情报工作，这是党的宝贵财富。同时指出，情报工作专业性qiáng，要有连续性，要一茬一茬接下去，解决接班问题对调查部来说更为重要，老同志不退下来不行，要充实年轻同志进入领导班子。他要求进班子的年轻同志要有战斗的、生气勃勃的jīng神，改进工作方法，提高工作效率，克服官僚主义。
随后，习仲勋代表中央宣布了经中央书记处讨论通过并经中共中央政治局常委批准的调查部新的领导班子成员。由于事前作做得细致周到，退下来的gān部心平气和，新进班子的gān部信心十足，得到了中央调查部gān部职工的拥护。
习仲勋特别叮嘱新班子要处理好“文化大革命”中出现的一些问题。他说，调查部在“文化大革命”中多灾多难，受苦很大。真正恢复过来是一九七五年邓小平同志主持中央工作调整调查部领导班子以后。在延安时康生管过这个部，“文化大革命”中他更没有放过。部里有人来信反映的情况大多数是真实的，都是在特定历史条件下发生的问题。“文化大革命”情况那么复杂，看一些同志所犯的错误不能离开当时特殊历史条件，那个时候周总理也不能硬顶。对有些问题，不要再纠缠了，不要揪住不放。有的人说了点错话，做了点错事;有的是违心地奉命办事;有的可能想的不周到而犯了点错误。有错误不要紧，只要勇于自我批评，善于听取正确的批评，向群众说清楚，群众是会谅解的。这些同志今后要严格要求自己，改造世界观，争取不犯或少犯错误。习仲勋这种实事求是、关心爱护gān部的工作方法，受到大家的赞扬。