曾国藩练兵，“搜考规制，今古章式无可仿效，独戚继光书号为切时用，多因所言变通行之”。103戚氏练兵，首重节制，“或曰：子用兵酷嗜节制，遂至成效。节制功夫，从何下手?戚子曰：束伍为始，教号令次之，器械次之，微权重焉。”104戚氏所谓的“节制”、“束伍”，在当时称为营制，其实就是今日军队的编制。
自古及今，大将所统，动则数十万，若都临阵来，无个法子管着，如何用他?若个个无有利害到身，谁肯用命?任你几十万人，我所诛罚不过数人，不怕你几十万不着紧，此正节制云。如竹之有节，节节而制之。以一管十，以十管百，以百管千，以千管万，以简驭繁之法也。105
用数万之众，堂堂原野之间，法明令审，动止有则。使qiáng者不得独进，弱者不得独退，峙如山岳，不可撼摇;流如江河，不可阻遏。虽乱犹整，百战不殆;握定胜算，以制全敌，舍节制必不能军。节制者何?譬如竹之有节，节节而制之，故竹虽虚，抽数丈之笋，而直立不屈。故军士虽众，统百万之夫如一人。夫节制工夫，始于士伍，以至队哨;队哨而至部曲，部曲而至营阵，营阵而至大将，一节相制一节，节节分明，毫不可gān。金鼓各有所用，音不相杂;旗麾各有所用，色不相杂。人人明习，人人恪守，宁使此身可弃，此令不可不守;此命可拼，此节不敢不重。视死为易，视令为尊，如此必收万人一心之效，必为堂堂无敌之师，百战百胜。106
由是可知，束伍仍出于简单的道理：无规矩不成方圆。无节制之军队，恰如散兵游勇，乌合之众，这也正是绿营制度的弊端。曾国藩有鉴于此，到衡州之后，即注重于营制之改革。湘勇起初三百六十人一营，衡阳改制后，其营制扩增为五百。107
凡立营，十人为队，八队为哨，队、哨有长，队有斯养，队十二人，其正制也。八队之械：一、五(队)抬枪，二、四、六、八(队)刀矛，三、七(队)小枪。抬枪迟重则增二人。故百六人而成八队，统以哨长。哨百七人，置哨官领之。四哨为营，(营置)亲兵六队，队长、斯养如哨之制，队十二人。六队之械：一、三(队)主pào，二、四、六(队)皆刀矛，五(队)为小枪，凡七十二人，不置哨长，合四哨四百二十八人，皆统于营官。故曰营五百人，而哨、营官不(在其)数。其书记、医匠或有或无，营官主之，其费(用)于公费取之。营之用器，哨队备之，其军器立营时给之，坏敝营官修之，于公费取之。惟铅弹、药绳、帐棚得以时领，营官给十帐，八夹二单;哨官三帐，一夹二单;亲兵队二帐，一夹一单;哨队(每)队二帐，皆单。凡营帐单者八十，夹者十八。辎重军装行粮，长夫运之，率百人而卅六夫，营夫无过百八十，亦无得阙不足。行而索夫，军有司诛之。108
新营制一大特点，就是每营都列入了“长夫”这一编制。所谓长夫，类如后来之辎重队，专为军队行军扎营运送辎重粮秣之用。这样，湘军每营之人数实际上达680人之多。增入长夫，也是曾国藩一项重大改革，为的是解决兵勇扰民的问题。官军最大，也是最为百姓所痛恨的弊政，就是拉伕。“军兴调发，……州县发夫驮运载，军将拱手乘马车，入于公馆，其士卒或步担一矛，倚民家及旅店门，居人惶怖，唯恨其不去。”“民间徒知其扰累，莫肯怜其送死，故征役者益怨恨，仇掠于寇所不至之地，而愚民避官迎贼之议起矣。”109
清军作战不行，扰民却无处不在，故民间的口碑，多说官兵的军纪不如太平军，以致很多地方的百姓，都出现了怕官军甚于太平军的现象。这种局面不尽快扭转，是件十分危险的事情。因为战争并非只取决于战场上的胜负，更取决于双方对于民心的争夺，民心一失，大势随之而去，接下来就会是土崩瓦解的局面。
曾国藩深知这一点，故其治军，以爱民为怀：“用兵之道以保民为第一义。……募兵剿贼，所以爱百姓也。若不禁止骚扰，便与贼匪无异，且或比贼匪更甚。要官兵何用哉?故兵法千言万语，一言以蔽之曰：爱民。”110增添长夫，发放帐篷，为的都是防止军队扰民。因为当时官军最为民间所诟病者，一为qiáng行派伕，一为qiáng占民房也。配备长夫，行军时可运送军辎，屯驻时可挖壕筑垒;配备帐篷，则扎营无须qiáng借民居，为从根本上杜绝这两项弊政创造了条件。故“湘勇在外，殊得嘉誉，郴、桂一带，多称仁义之师”。111
另一项重要改革是薪饷从丰，如上所述，比之八旗与绿营，湘军的薪饷要高出很多，由于军费自筹，朝廷亦不能限制其薪额。这就使从军对农民具有很qiáng的吸引力，不仅保证了湘军可以招募到源源不绝的兵员，而且兵员的素质也得以提高。此外，曾国藩还制定了很高的赏格标准与严厉的惩戒办法，以激励乡勇奋勇作战。
湘军与官军最大的不同在于其构成。曾国藩对官军之腐败窳劣深恶痛绝，故在自己编练的新军中坚决不用军官(塔齐布等少数人例外)，“其带勇之人，概求吾党血性男子，有忠义之气，而兼娴韬钤之密者”。112也就是说，湘军的构成，兵，是吃苦耐劳的农民;官，则是乡里土生土长的儒生。
在这里我们先要澄清一种错误的观念：书生无用论。这个观念出自一首诗，清代乾隆年间，江苏武进有个名叫huáng景仁(字仲则)的文人，少年颖慧却沉滞于科举，时乖命蹇，落拓终生，35岁时病死于逃债的路上。但此人诗作的好，有《两当轩集》存世。所谓物不平则鸣，愤懑出诗人，穷愁出诗人，其穷愁不遇时，曾作《杂感》一首以自讽。
仙佛茫茫两未成，十有九人堪白眼，
只知浓夜不平鸣。百无一用是书生。
风蓬飘尽悲歌气，莫因诗卷愁成谶，
泥絮沾来薄悻名。chūn鸟秋虫自作声。
其中“百无一用是书生”一句，辗转流传，竟成为喧腾于众口的俗谚。似乎书生都是些肩不能挑担，手不能提篮，无缚jī之力，只会之乎者也、子曰诗云的腐儒。其实不然，此诗用作曹雪芹、huáng仲则这类潦倒文人的写照尚可，但却不足以作为旧时书生的定论。两者的重要区别在于，前者乃文人，多为孤芳自赏、顾影自怜者;后者是儒生，多胸兼家国，心怀澄清天下之志者。
明末士大夫中流行陆王心学，什么东西一旦流行，流弊随之而来，致使文人热衷于清谈、党争，无实事求是之意，有骛名争胜之心。“平时袖手谈心性，临危一死报君王”，所谓清谈误国，晚明为一例也。故明末之遗民，多对浮夸空泛之文人习气深恶痛绝。如顾炎武与友人书信中论及此事，引宋代刘挚言曰：“《宋史》言刘忠肃每戒子弟曰：‘士当以器识为先，一命为文人，无足观矣。’仆自读此一言，便绝应酬文字，所以养器识而不堕于文人也。”113又云：“孔子删述六经，即伊尹、太公救民水火之心，故曰：载之空言，不如见诸行事。”114而清初崇实笃行之大儒颜元，更是将文人以之自傲的诗文字画，称为天下四蠹，意指好之者不免于玩物丧志也。