习仲勋到达上海的当天，即三月三十一日傍晚，中共中央办公厅副主任赖祖烈来到习仲勋的住处，把《关于国家机构和人事配备方案(草案)》送给习仲勋征求意见。《方案(草案)》中提名习仲勋为副总理人选，习仲勋看后当即对赖祖烈表示，转请中央考虑更为合适的人选，自己还是把现任的工作做好更为有利。赖祖烈离开后，习仲勋经过一番思考，决定给中央写信，表达自己的想法。他迅即起草了给毛泽东和邓小平的信，几经推敲，反复修改后，整整齐齐地誊抄出来。信中写道：
昨晚收到《关于国家机构和人事配备方案(草案)》，看到新提副总理名单中有我的名字，反复考虑，心情颇为不安。回忆几年来在国务院秘书长任职期内，工作没有做得很好，主要还在于自己有毛病，并不因职务关系而妨碍工作。因而内心十分歉疚，我仍乐意在下届国务院谨守原来的工作岗位，多做些工作，做得更好些。这样，于工作无损，对自己可能更有好处。特恳请中央考虑，在新提的副总理名单中把我除名，另提别的同志为新增的副总理。
这封信并不是习仲勋的谦虚推让之词，而确是他的真实想法。
四月五日，中共八届七中全会通过了中央政治局《关于人民公社的十八个问题》的文件，通过了《一九五九年国民经济计划草案》和《关于国家机构和人事配备方案》。
十八日至二十八日，第二届全国人民代表大会第一次会议在北京举行。大会选举刘少奇为中华人民共和国主席，宋庆龄、董必武为副主席，朱德为全国人民代表大会常务委员会委员长，决定周恩来任国务院总理。
二十八日，刘少奇签署国家主席令：任命陈云、林彪、彭德怀、邓小平、邓子恢、贺龙、陈毅、乌兰夫、李富chūn、李先念、聂荣臻、薄一波、谭震林、陆定一、罗瑞卿、习仲勋为国务院副总理，任命习仲勋兼国务院秘书长。但是，习仲勋在这个岗位上仅仅工作了不到三年半时间，就因小说《刘志丹》遭到诬陷，在没有履行任何法律程序的情况下被剥夺了工作权利，长达十六年之久。
■在庐山会议上
一九五九年秋，中国共产党在庐山举行了两个颇有影响的会议，即七月二日至八月一日的中央政治局扩大会议和八月二日至十六日的中共八届八中全会，也就是后来所称的庐山会议。这次会议按照中共中央和毛泽东的最初设想，是统一全党对形势的认识，在肯定成绩的前提下，总结经验教训，研究若gān具体政策，进一步纠“左”，动员全党完成一九五九年“大跃进”的任务。但是后来却开成了一个错误地批判“以彭德怀为首的反党集团”的会议。这一党内斗争的重大失误，造成了严重后果，留下了深刻教训。
习仲勋出席了这次会议。在此之前，他赴河南、陕西等地调查研究，对“大跃进”中的工业和农业实际情况，有了较多的感性认识和理性思考。习仲勋的调研一共有三次，除按周恩来指示在陕、甘、宁、青和内蒙古调研外，还有两次赴河南调查研究，一次是一九五八年四月二十日，和彭德怀陪同周恩来到河南调查研究，了解“大跃进”运动中工业生产和农业生产的情况和问题。第二次是一九五九年五六月间，习仲勋担任副总理一个月之后又一次到河南调研。当时“大跃进”的问题已明显bào露出来，周恩来要求各位副总理分别到一个地方调查研究，了解情况，习仲勋再次被安排到河南和陕西。
五月下旬，习仲勋到河南着重了解生铁的产量和质量问题。六月十八日，习仲勋由河南到陕西，检查了周至、户县、铜川、临潼、渭南等县的工作，与中共陕西省委进行了两次座谈，给省局级以上gān部作了报告，召开了民主人士座谈会。习仲勋此次调查研究及一九五八年在西北的考察，使他对钢铁生产及其农村的情况有了较为详细的了解。回京后，国务院秘书厅又把群众来信来访情况加以汇总，给他提供了许多情况，主要是：从生产关系适应生产力发展规律看，现在办人民公社的条件不成熟，发展太急太猛;吃饭不要钱不符合按劳分配原则;“全民炼钢”的口号不对，可以不搞“小土群”，一千零七十万吨钢的指标可以不提，这是领导主观主义的意志，要算政治账，也应算经济账，全民大炼钢铁赔的钱可以买好多钢，经济效果不好，政治也会影响不好;“五个并举”，成了“百废俱兴”;“两条腿走路”，成了“多条腿走路”。习仲勋觉得这些问题，与他在河南和西北地区调查了解到的情况是一致的，便让秘书厅的同志整理了一份材料，准备带上庐山，以备会议使用。
六月三十日，习仲勋从九江乘车登上庐山。上到半山，在一个转弯的开阔处，看到前边的一辆小轿车戛然停下，走下车的正是彭德怀，习仲勋也赶忙停下车来，上前和彭德怀握手问候。两位老战友在这里相遇，一边眺望山川景致，一边jiāo换在调查研究中发现的一些问题，心情一样忧心忡忡。【贺氏藏书·刘大海jīng校】
刚上庐山，参加会议的人员分住各处，白天观光游览，晚上观看毛泽东所点的《思凡》、《惊梦》、《悟空借扇》等赣剧剧目，颇有神仙会的味道。
七月二日上午，会议传达毛泽东在中央政治局常委会上的讲话：“现在天下太平，四方无事，这次请大家上庐山来开个神仙会，半天开会，半天游山玩水，白天开会，晚上看戏”，还传达了毛泽东早有准备的包括读书、形势、任务、宣传、综合平衡、体制、协作关系、公共食堂、学会过日子、三定政策、恢复农村初级市场、团结等十九个问题的意见，以及他所概括的“成绩很大，问题不少，前途光明”的基本估计。
会议按大区分组，彭德怀和习仲勋同在西北组。会议开得轻松活泼，问题讨论得广泛深入，并从不同角度总结了“大跃进”运动以来的经验教训。中央主要领导包括刘少奇、周恩来、朱德等都在各组会上发言。彭德怀在西北组会上作过几次发言。他当时受到毛泽东号召讲真话、学习海瑞jīng神的鼓舞，坦率地发表了自己的看法。他说：“反右以来，政治上、经济上取得了一连串胜利，党的威信高了，但是脑子也发热了一点。吃饭不要钱那么大的事，没有经过试验，忽视了‘工作方法六十条’中一切经过试验的原则。”他还认为人民公社办得早了些，农业产量有浮夸成分，全民办工业值得怀疑，大炼钢铁出了不少问题。他指出：“对待错误要总结经验教训，不要追究责任，责任人人都有，包括毛泽东在内，我也有一份，至少当时没有反对。”他qiáng调，要发扬党内民主，要让人敢于讲话，要实行党委集体领导，不能由个人决定。不搞集体领导，只由个人决定，不建立集体威信，只建立个人威信是很不正常的，是危险的。
习仲勋把国务院秘书厅整理的材料，呈送给周恩来并转报毛泽东，大会作为简报印发。习仲勋让随行的秘书把这个消息通过电话告诉国务院秘书厅的同志，他们非常高兴，很受鼓舞。当时会内外都认为这次可以纠正“左”的错误了。