杨坊却置之不理，坚持要常胜军有了开拔确期，才能发饷。这样僵持了四五天，白齐文带了几十名洋枪队到上海，直奔杨坊寓所，见了面不分青红皂白，将杨坊痛殴一顿，颜面胸口都受了伤，吐血不止。客厅中堆着几十箱银圆，亦被搬抢一空；事后杨坊具禀呈报其事，说抢走饷银四万馀元。
李鸿章本来是采取坐视的态度，此时一看机会来了，很起劲地照会英国提督士迪佛立与领事麦华陀，要求解除白齐文的兵柄，听候中国查办。
结果由于士迪佛立的劝告，白齐文解职离队，队伍jiāo由英国正规军官奥伦接管。李鸿章便上了一个奏折，一石二鸟，驱逐了白齐文，也整惨了吴煦与杨坊。他不但以“该道等创募此军，及换人接带，始终主谋，又有督带之责，不能实力矜制，咎亦难辞，应请暂行革职，以观后效”，而且要责成他们“严密拿解”白齐文到案治罪，而且因为白齐文赴援金陵不成，所有雇用轮船及添购军火的费用，应由吴煦、杨坊自行赔补。最厉害，也最令人难堪的一着是，这个奏折邀同“头品顶戴通商大臣”薛焕会衔出奏，就等于qiáng迫薛焕自掴其脸。
然而李鸿章确有手段，居然压倒了常胜军——常胜军为吴煦、杨坊纵容得不成话说，人数由最初的一千人，扩充至四千五百多，一切粮饷、薪水，以及其他军需供应，都超过官兵好几倍；不但每个月七八万银子的支出，成为极大的负担，而且官军内心不服，亦成隐忧。同时更怕常胜军一天比一天跋扈，有尾大不掉之势，一旦枪口倒转，会造成不可收拾的巨祸。说起来也难怪李鸿章对吴煦、杨坊那样不满。
他想裁抑常胜军的心，存之已久，苦于不得其便。这一次白齐文闹事，是一个机会，一面撤换白齐文，一面要求会同管带常胜军。英国提督士迪佛立起初不愿，李鸿章据理力争，终于订立了十六条条约，常胜军裁减为三千人，粮饷减少，而且需由中国管带官会同发放；驻扎在松江的外国管带，不准gān预地方公事；购买军火，须经巡抚衙门批准，不准私购；处罚士兵，须听中国管带官的主意。虽不能尽夺兵权，但亦大非昔比了。
对于白齐文，李鸿章仍坚持必须逮捕到案，依军法治罪。
这亦是合理的要求，因为白齐文受过大清朝的三品顶戴，是中国的职官，自然应受中国律法的拘束。然而白齐文本人固然决不肯到案，就是英国方面，亦不愿将洋人jiāo由中国官员审判，以致成了僵局。白齐文躲在英国军舰上，士迪佛立藉口华尔与白齐文托英军代购军火的帐目未清，要求李鸿章派员会算清偿以后，方能jiāo出白齐文。这一下，又是吴煦、杨坊倒楣。李鸿章以无案可稽，不肯派人会算，更谈不到清偿。
下了个札子给吴煦、杨坊，要他们“自行清理”。
就在这拖延不决的当儿，常胜军内部又出了麻烦。当白齐文被撤换时，先由英国军官奥伦代为管带，而士迪佛立因为奥伦是参谋官，不宜带兵，另外推荐戈登接替。常胜军不知是为白齐文声援，还是希望奥伦留下来，居然群众鼓噪，反对戈登到营。
幸好程学启别具深心，有意要结纳戈登，派出大队qiáng力支持，陈兵以待，大有常胜军如不服戈登指挥，便不惜一战的决心。结果终于迫得常胜军乖乖就范，戈登心感不已，与程学启结成莫逆之jiāo，而且按照中国规矩，两人拜了把子，程学启平白里有了一个“洋大哥”。
戈登接统常胜军的第一功，便是协同程学启及李鸿章的幼弟李鹤章，攻克常熟昭文县及福山海口，由此功劳，戈登亦被援职为总兵。第二年——也就是同治二年三月中，又助程学启攻克太仓；四月中，助攻克昆山，于是李鸿章有三路西进的计划；中路由昆山进苏州，由程学启率领对抗太平军慕王谭绍光、纳王郜永宽。
北路由常熟进江yīn、无锡，由李鸿章、刘铭传率领，对抗侍王李世贤、cháo王huáng子隆。南路以水师为主，由泖淀湖进吴江太湖、平望，由总兵李朝斌、提督huáng翼升相机进兵。
这三路是前敌，后路要防嘉兴方面的太平军，乘虚直扑上海，所以派潘鼎新、刘秉璋、杨鼎勋扼守松江、金山卫一带的要道。而戈登的常胜军则移驻昆山，居中策应。
李秀成得报，自然着急，苏州与金陵成犄角之势，亦为主要的饷源，倘或苏州一失，金陵解围，益发无望。所以亲自赶到苏州布置防务，檄调驻皖南的“侍王”李世贤、驻丹阳的“cháo王”huáng子隆、驻常州的“护王”陈坤书，各率所部，屯军江yīn无锡之间，支援守苏州的太平军悍将“慕王”谭绍光。
当时双方的兵力，约为二与一之比，中路程学启、李鹤章连同常胜军共三万八千五百人；太平军则城内四万、城外两万，另加李秀成从金陵带来的一万八千人，总计七万八千。
但人数虽多，武器不济，尤其是水路更处劣势，淮军虽只两条武装的小火轮、一条pào艇，但已是纵横无敌人。
因此，淮军先败江yīn无锡间的太平军，次克吴江、震泽，逐渐进bī苏州。而谭绍光忽得意外的助力——白齐文一度到北京运动复职，未得要领，回到上海设法招了一批洋人，夺得常胜军的一条“高桥”号小火轮与一批军火，投到苏州，为太平军效力去了。
然而这个意外，在李鸿章倒是塞翁失马。戈登与程学启的jiāo谊，原已发生裂痕，克复吴江时，程学启是淮军第一号大将，李鸿章如何肯听戈登的话？双方几致决裂。就在这时候，得到白齐文投奔苏州的消息，戈登不愧为正规军官，深知自己的责任，怕常胜军内部受白齐文的影响，有溃变之虞，急急赶回昆山坐镇，辞职的话，亦就无形中打消了。
到了八月里，继江yīn克复以后，程学启连破苏州城外敌军十垒。李秀成亲自领军援苏，由白齐文相助，一战宝带桥，再战于无锡大桥角，尽皆无功。而高桥轮却因洋水手喝醉了酒，失慎沉没。其时白齐文的部下，多萌去志，白齐文本人又终日醺醺然，无所作为，大失谭绍光之望，终于不欢而散。
＊＊＊十月初九，李鸿章亲临苏州督战。而苏州城内的太平军，除了谭绍光以外，几乎都觉得战局无望，因而与程学启搭上了线，居间的是程学启的部将郑国魁，他是李鸿章的小同乡，但与籍隶湖北的“纳王”郜永宽有旧。密使往还之后，约定十月十九那天，由戈登攻城，等谭绍光出城迎战，城内便闭门不纳，先击溃了谭绍光再说。
第二天戈登会同淮军，如约攻破齐门及娄门之处的石垒，李秀成与谭绍光不敌，然而城内想闭门不纳，却不曾办到。第二天，郜永宽部下又放弃齐门外的pào垒。见此光景，李秀成知道军心已变，大势已去，为了保全苏州的生灵，预备弃城，但谭绍光不从，李秀成唯有痛哭而去。
郜永宽曾受李秀成的提拔，见他一走，益无顾忌，遣使约定程学启，在阳澄湖中单骑相会。在座的还有戈登及郑国魁。程学启要求郜永宽杀李秀成、谭绍光，事成许他二品官职。郜永宽不忍杀李秀成，只允图谋他的把兄弟谭绍光。