黎元洪则是在总统任内没有过一天舒服的日子，因为黎、段之间势成水火，遂致总统府与国务院之间也无法调和。
黎、段两人有新仇，也有旧恨，旧恨是当黎以副总统身份兼领湖北都督时，段奉袁的密令以绑票方式来武汉，押他上火车，结束了黎在湖北的局面，从此黎在北京做了袁世凯的政治俘虏；新仇是段虽拥黎继任总统，可是在袁死后段去见黎时，一言不发，面孔冷酷有如对待一个陌生的政敌，加上张镇芳又从中挑拨。张镇芳是袁临终时四个接受顾命大臣之一，可是段祺瑞却最瞧不起张，由于张是袁的表弟，洪宪帝制时，张在大典筹备处办事，贪污舞弊，所以段经常骂他是“huáng带子”、“掌柜的”。张自然也恨段入骨。黎继任总统后，张在黎的军事智囊哈汉章面前放了一把野火，他说：“我们在项城（袁）的灵前讨论总统问题时，老段反对huáng陂（黎）继任，是东海（徐世昌）竭力促成的。”这句话很让黎相信，所以黎非常恨段，对徐世昌则有好感。
至于段呢？压根就瞧不起黎，因为在清朝时，段曾做过统制（等于师长地位）、军统（等于军长地位）和提督，并且署理过湖广总督，可是黎那时才不过是一个协统（等于旅长地位）；到了袁世凯时代，段则是北洋系首屈一指的大将，而黎虽是副总统，在段眼中，不过因缘时会，窃取辛亥革命果实，到北京后只是个政治俘虏；袁死后，黎的总统是段一手“提拔”起来的，如果段不支持黎，黎根本登不上总统的宝座。他在袁死的当天晚上告诉黎派来探听消息的张国淦说：“我姓段的支持黎，就是一句话，不会让姓黎的落空。”
因为段有这些观念，所以完全不把黎放在眼中，黎则看段有如芒刺在背。黎、段之间便因此无法谐合。
黎接任总统后，对当时的各项问题由不问而要问，由要问而多问，他认为小事可以不问，大事必须过问，这对段是无法忍受的。段本已苦于国会给他的困扰，使他不能独断独行，再加上黎元洪遇事总是掣他的肘，使他感到非常受不了。他有时向他的亲信抱怨说：“我是要他来盖章签字的，不是请他来压在我的头上！”
段拥黎为总统只是叫他盖章，这一点可以从段的秘书长徐树铮的一句话中证实。有一天徐树铮拿了三个人事命令到总统府请黎盖大印，黎偶然问到这三人的出身和历史，徐树铮就很不耐烦地说：“总统不必多问，总理早已研究清楚，请快点盖印吧，我的事情还忙得很哩。”黎听了这话真是气得头上要冒出火来，他脸上发青地对手下人说：
“我本来不要做这样总统的，而他们竟公然目无总统！”
黎任总统后调张国淦为总统府秘书长（后来张辞职，改由丁士峄），以林长民、贾寿坤、雷豫钊、欧阳葆真、刘远驹、张则川、瞿瀛、施泰祺八人为秘书。军事幕僚有哈汉章、金永多、蒋作宾等。
军事幕僚们经常建议黎必须掌握兵权，他们的理由是：“责任内阁制是指政治而言。
军事方面总统既然是全国陆海军大元帅，就不能不管军事，大元帅没有军权，总统有什么做的价值？”这些话黎很听得进去，他把自己的总统地位和袁世凯做总统时候一比，觉得袁当时何等威风，自己今日何等可怜，自己虽不想大权独揽，可是要制止军人的跋扈擅专，则应该把军权抓在自己手上。黎这个意图和段完全对立。段认为袁世凯当年最大的错误就是成立“全国陆军统率办事处”以集中军权，段的解释是：他以内阁总理身份而掌握全国政权，又以陆军总长身份而掌握全国军权。段今日的地位是建筑在军事独裁上，他之所以能控制住北洋系，就因为他有军权，如果让总统管军权，他岂不是手无寸铁，总统一纸命令就可以撤换了他吗。所以这一点他是誓死必争的。
当陈宦带了一师部队离开四川时，黎的军事幕僚擅自打了一个电报劝陈宦自动解散军队，陈宦居然不向内阁请示就奉总统命而行。段为此恨黎的几个军事幕僚入骨入髓，他公开指哈汉章、金永炎、黎澍、蒋作宾为府中四凶。段认为黎竟然过问到督军问题（陈宦督湘是黎所坚决主张的），以及解散北洋军队，是可忍孰不可忍，所以段一直要对付陈宦，“杀jī给猴子看。”
民国元年宋教仁所致力且因此而丧生的理想——责任内阁制，到了袁死后，竟在段祺瑞组阁时实现。因此，这一期间的总统府和国务院的权力，恰恰和袁时代相反，黎虽能忍让，可是也有限度。段的qiáng项，在袁世凯末期已表现出来，他对袁都敢使气，何况他平素就瞧不起黎元洪，如今两人共事，他更不把黎放在眼中了。
北洋时代军阀割据局面，是逐渐形成的，其实凭心而论，袁并不愿见军阀割据，尾大不掉。无奈军人霸占地盘后，袁的利益和他们的一致时，他们就奉行命令，不一致时，他们就可以不理睬，因此割据的形势是自然形成的。
在袁世凯时代，他曾授意黎元洪发出主张各省军民分治，和废督裁兵的通电，袁希望借此试探能否在各省行得通，只要各省不坚决反对，袁意思是先将都督和民政长两个职务分开，然后着手裁兵，各省都督一律裁撤，各省军队一律直属中央，把各省军阀割据的局面转变成中央（袁一个人）集权的局面。当然，这个计划是得不到各省军阀的支持，不过这是一股正流，全国明达之士都支持废督裁兵的计划。这个计划虽孕死腹中，然而黎却因此而获得虚名。
黎自己当总统后，自然而然更想贯彻这个主张，所以他极力推行这个计划，他虽然是个没有实权的总统，可是他并不甘以没有实权而自居，他认为当年他提出这个主张时，全国都有共鸣，袁死后天下大变，在此时旧调重弹，或者可以行得通的。在裁兵这一点上，段祺瑞是完全站在黎这一边的，这当然由于利害上的一致，而非见解上的雷同。所以北京政府在军务院撤销后，立即发出“收束军队”的号召，责成各省军事当局将以前派出作战的军队撤回原防，并着手编遣各地民军，以及自从战事发生后扩充的新编军队，北京要求所有军队都应接受北京政府的直接管理。
黎、段虽然对裁兵问题意见一致，可是在目的上则显然不同。黎的意思是全国普遍裁兵，无论南北，不厚此薄彼；段则是要大量裁减南方的军队，对自己所能控制的北洋军则不愿裁减，相反地还想继续扩充。黎的目的是：总统和总理应该分权分工，总统以陆海军大元帅地位管理军事，内阁总理则专管政务。军权既要集中于中央，总统的权力就要提高，使总统在实际上具有指挥全国军队和任免全国军事长官的大权；段的目的是：
全国军权都应该由陆军部掌握，所谓中央就是责任内阁，并不是总统。
至于废督问题，段认为当袁权势最盛时，曾把都督一律改称将军。同时计划废省改道，以削弱地方军阀的权力，可是废省改道计划完全行不通。段有鉴及此，乃想出一条比废省更为巧妙的方法，拟将全国行政区改革，缩小省区，把全国划分更多的省。北京内务部根据段的特别指示，制定了全国划分为49个省和特别行政区，只有东三省因外jiāo关系暂不更动。缩小省区计划，在北方各省都一致反对，于是只好束之高阁了。