习仲勋还特别关注机构改革后新班子的建设和gān部的成长。在接见调查部新领导班子成员时，他语重心长地说：
你们要鼓起勇气，挑起担子，事情就是压出来的，要主动挑担子。年轻的同志多向老同志学习，多向老同志请教，拜他们为师，必要的会议请他们参加。老同志要主动、热情地帮助年轻的同志。你们要坚持民主集中制，大事要广泛征求意见，然后集中起来。就是要发扬民主，不要各行其是，不要搞一言堂。要搞五湖四海，不要搞帮派，对gān部不要分亲疏，办事要公道。比如你和我虽然关系很好，但办事还是要坚持原则，办事没原则，就是没有党性，或叫党性不qiáng，就应进行批评。这样，你们就可以搞出一个生动活泼的局面来。
经过习仲勋的辛勤工作，他所联系的部门的机构改革都进行得很顺利。通过改革，党中央直属单位局级机构减少百分之十一，工作人员总编制缩减百分之十七点三，各部委的正副职减少了百分之十五点七，在新的领导班子中新选拔的中青年gān部占百分之十六，平均年龄由六十四岁降到了六十岁，正常的gān部离退休制度建立起来了。在谈到机构改革的成果时，习仲勋说，这次改革之所以进行得比较顺利、比较快，受到党内外、国内外的普遍好评，原因是：一、领导决心大，一开始就下定决心，抓住不放，一抓到底;二、坚持走群众路线，改革方案几上几下，反复酝酿;三、老同志从革命大局出发，站得高，看得远，发挥了比较好的作用。
正值中直机关机构改革进行之际，一九八二年六月，中共中央决定“各省、市、自治区党委可参照中央党政机关机构改革的jīng神和做法，结合本地的实际情况，酝酿制定机构改革方案。条件成熟的地方，在机构改革方案报经中央批准后，可在下半年开始进行;条件不成熟的地方，可先做酝酿准备，明年开始。”省级机构改革从一九八二年十月开始到一九八三年三月基本结束。在此期间，为了推进各省市区领导班子年轻化，习仲勋多次约请有关省市领导人谈话，做深入细致的思想工作。
一九八三年二月，习仲勋到福建省就gān部“四化”、地方机构改革、领导班子建设和改进工作作风等问题进行专题调研，中共福建省委第一书记项南陪同他实地考察了福州、泉州、厦门、漳州和闽北山区。
二月十七日，习仲勋在厦门召集厦门市领导谈话。当他看到在座的既有年龄较大的老同志，又有中青年gān部，还有妇女习gān部时说，今天这个会很好，来的gān部中有老的，有新的，还有年轻的女副市长，你们在新老合作和jiāo替方面带了头。新老要jiāo替，要合作，非这样办不可，这是历史发展的规律。现在最重要的是要积极选拔一些德才兼备的优秀青年人上来，老同志要大力扶持他们工作。从历史上看，马克思、恩格斯，以及许多有成就的人，gān事情时都在三十岁左右，三十几岁是最能gān事的时候。
习仲勋qiáng调，现在我们就是要宣传这个思想，要大胆提拔年轻人，要热情支持和积极帮助他们工作。对青年人，把担子放在他们身上才能锻炼出来，不压担子，永远也不行。我们老同志都是这样过来的，所以要给青年人压担子，要给他们加责任。已经和将要到领导岗位上的年轻同志，一定要认识到自己的担子很重，既要虚心学习，又要大胆工作，要有一股闯劲;要勇于和善于开创新局面。我们老同志要有这个觉悟，站好最后一班岗，保持晚节，在我们去见马克思之前看到新秀都健康地成长起来，我们也就放心了。如果我们现在不下决心调整班子，不自觉进行新老jiāo替，选拔青年gān部上来，那是要贻误党和国家大事的。现在，我们有些公社党委书记五十岁，许多县委书记五十几岁，还有六十多岁的。如果再不抓紧进行新老jiāo替，再过十年，那时我们各级领导班子成员的年龄状况会老化到什么程度呢?
他说，当前摆在我们面前的一项很重要的任务是挑选gān部。从今年开始，各省、市、自治区每年都要从大学毕业生中挑选一批，不是让他们坐机关，而是让他们下去，到一个公社去，到一个大队去，到一个工厂去，锻炼几年，然后逐步地择优选拔到各级领导岗位上来。这是培养德才兼备gān部的一条重要途径，是一项战略措施。挑选人才，品质是最重要的，当然还要有才，就是德才兼备。大学生不一定才都好，但文化水平是成才的基本条件，要尽量高一些。大家都要从自己的实际出发，努力学文化，提高文化水平，在这方面要抢时间。选拔、推荐年轻同志进领导班子，要群众推荐，光上面几个人选拔不行。说张三李四好，要群众公认才好，群众不批准，你就得不到群众的支持，什么事也办不成。
习仲勋还对老同志提出了殷切希望。他说，我们老同志退下来，超脱一些，还可以做些事，甚至可以比在职时做得更多，做得更好。中央有个经验，就是现在有很多事情都是请老同志去做。中央组织了一个调整配备省、市、自治区领导班子的指导小组，宋任穷同志负责;还新组织了一个中央和国家机关机构改革工作小组，薄一波同志负责。这两个小组的成员大部分是中央党政机关各部门退下来的老同志。我们老同志要有自知之明。可以回顾一下自己的过去，看看对一些重大问题的处理，是对的，还是错的?在紧要关头，是做对了，还是做错了?现在去总结，对自己、对工作都有好处，对搞改革也会有帮助。多年来有一条经验，就是一个人不可能什么事情都是事前诸葛亮。毛主席也不是什么事情都是事前诸葛亮，他也是根据实践，根据他个人的实践，千百万gān部、群众的实践，才能总结出一套正确经验，进而把这些经验上升为革命理论。但当他背离了这些根本原则的时候，也免不了犯错误。所以说，一个人能当事后诸葛亮也是很高明的。
在讲到党和机关作风问题时，习仲勋严肃地指出：
现在，有些部门官僚主义、分散主义、本位主义比较严重，工作上瞎指挥，各自为政，这怎么行呢?我们中央机关和各级领导机关，都要抓大事，抓方针政策问题，抓思想倾向问题，要放手让下面的同志大胆工作;要为下面的同志服务，给下面的同志以正确指导，帮助他们解决困难，而不能给下面找麻烦，增加负担。要在机构改革中切实解决好这些问题，改进领导作风和领导方法。
今年的事情很多，但要抓住重点。要进行省、市、自治区和地、市两级的机构改革，以及经济体制改革;上半年还要选人大代表，开六届人大;下半年要开始整党。机构改革既要jīng兵又要简政。毛主席在《为人民服务》中提到的李鼎铭先生是个爱国绅士。他当时是陕甘宁边区政府副主席，jīng兵简政就是他提出的，毛主席采纳了他的意见。现在jīng兵还没有完全搞好，简政更没有搞好，还是过去那么多文件，那么多的报表，那么多的材料，你这个情况简报，他那个情况简报，使人没有办法看。我的秘书每天送给我看的文件、材料连十分之一都没有看，一些机关有的事本来用一个钟头可以办完，非得拖几天不可。所以，体制要改革，规章制度和工作方法、作风也要改革。要定机构，定编制，定业务范围，不要因人设事，要因事设人。人员宁可少一点，但要jīng一点。机关也要搞责任制，分工负责，既然由你负责，在一定时间内搞不好你就得下来，让有才能的人去gān。