曾国藩自带兵之日起，就决心要练成一支全新的能战的部队。这种愿望的迫切产生，在于他对绿营弊端的深切感受与极端痛恨。他认为绿营的不可救药，已经到了积重难返的地步：“恐岳王复生，半年可以教成其武艺;孔子复生，三年不能变革其恶习。”①由此他认为：“现在之兵，不可练之而为劲卒，新募之勇，却可以练之使补额兵。”②
绿营之弊诚然已经是一种制度化的痼弊，而革旧鼎新又谈何容易?再说，编练新勇以代替国家经制兵的八旗绿营(哪怕是在实际上而不是名义上)，也与皇帝的原意相去甚远。清朝统治者的初衷，是把团练当作一剂应急药物来服用的。虽然他们也深知旗绿部队的无用，但八旗毕竟贴心得紧，不用担心控制不灵;八旗绿营制度由来已久，改革祖宗之制阻力既大，又非短时之功，习惯了“急来抱佛脚，雨过忘雷声”的大清政府，在扑灭川楚白莲教起义的战争中看到团练的力量，认定了这只“佛脚”，寄希望于它在国家有事时可以招之即来，天下太平时又可以挥之即去;不用担心经济上的负担，不用顾虑军事上的失控，真是一举多得!岂不知，面对组织严密、战斗力强大、建立了牢固根据地、进退自如的太平天国起义军，传统意义上的团练只靠“保甲相连”、“坚壁清野”的老办法，已经难以发挥作用。八旗和绿营的改造既然一时难以实现，那么，在传统团练的基础上训练一支介于两者之间的勇营队伍，革除旗绿之弊端，练成能战之锐旅，才不失为明智之举。曾国藩就是在这一历史时刻敏锐地抓住了问题关键的那个人。
咸丰二三年间，先后奉上谕担任团练大臣的官员有43人之多，而最终成就大功的，只有曾国藩一个。曾国藩不是落实皇帝谕旨最严格的那一个，他在实践中渐渐背离了朝廷的初衷，离开团练建成了一支经制兵之外的准正规军;曾国藩也不是最幸运的那一个，他用破心机，几经曲折，饱尝艰辛，才成功地带出了一支清政府不得不倚重的湘军劲旅。湘军成功了，它从不起眼的地方团练而成为当时中国战斗力最强、清廷疑忌而又不得不依赖的部队。这支成功交响乐，由“三部曲”乐章构成：另起炉灶，促练大团;避走衡阳，练成劲旅;独当一面，席卷两湖。
另起炉灶，促练大团。曾国藩奉命进驻省城时的任务有二：一是“团练乡民”，二是“搜查土匪”。与练兵有关的是“团练乡民”，而这个团练，原来不过是以各府县团练为基础，以保甲地方、维护治安为主要任务，距离一支能够独立作战部队的要求相去甚远。曾国藩在受命之初，就决心另起炉灶，按照自己的想法带出一支全新的部队来。他在初到长沙后的一份奏折中，就把“团”与“练”区分开来：“团练二字宜分开看，团即保甲之法，清查户口，不许留容匪人，一言以尽之矣。练则制械选丁，请师造旗，为费较多”，并提出自己的建议：“于省城立一大团，认真操练，就各县曾经训练之乡民，择其壮健而朴实者招募来省。参仿前明戚继光、近人傅鼐成法，但求其精，不贵其多;但求有济，不求速效。”①按照惯例，团练本应该于各个地方就近训练和执行任务，省城防卫和重大军事行动仍然靠绿营，曾国藩提出在省城组建大团，实际上就是在省防绿营之外另起炉灶，组建一支新军，这显然与朝廷的初衷相背。但病急乱投医的大清统治者似乎没有注意到两者之间的不同，批示道：“知道。悉心办理，以资防剿。”②于是乎，罗泽南、王等各地团练队伍陆续来到长沙，在曾国藩的指导下，开始了正规化的训练，并不断派出部队到各地攻剿会党、农民起义。1853年春夏间，江忠源部楚军会同湘军，先后在常宁、阳山、衡山、永兴、茶陵等地参加对起义军作战。到1853年7月下旬，曾国藩负责编练的湘军，已有罗泽南的中营、王纮的左营、邹寿璋的右营、塔齐布的辰营，以及周凤山、储玫躬、曾贞干等各自统带一营，兵员总数由初设大团时的1000余人扩大到4000人左右。
避走衡阳，练成劲旅。一个古今中外通用的规律是，肯办事者总是要惹出很多麻烦，要想办成事，就必须善于处理各种麻烦。曾国藩放弃守制，出山办事，正是踌躇满志大展手脚的时候，颇有一股“了却君王天下事，哪管闲人论短长”的味道。在省城长沙，他一方面办“大团”、练新军，一方面设“审案局”、查“土匪”。事实上，他这个团练大臣的职责是很模糊的，可伸可缩，可大可小，“圣谕”没有明确地细化，全靠自己在办事中把握。问题在于，湖南地方既有巡抚、布政使、按察使等管理行政、刑事，又有提督等负责军事;曾国藩设局审案、动辄杀人，难免与地方官吏引起冲突;他又组织绿营与湘勇合训，三八会操，酷暑不停，绿营的“老爷兵”自然难耐其苦，提督鲍起豹则怨其越职侵权。偏偏曾国藩使出强梁作风，以为自己一心办事，对于那些因循守旧、无所作为而又阻拦改革的贪官庸吏大加弹劾，越过湖南巡抚骆秉章，弹劾了副将清德，使其被革职拿问，又保举心向湘军的绿营参将、旗人塔齐布。以上矛盾日渐积累，终于导致绿营和湘军的正面冲突不断，直至绿营兵包围曾公馆闹事，弄到难以收场的地步。在这种情况下，曾国藩终于下定决心离开长沙，以“就近剿匪”的名义，移军衡州专事练兵。至于为什么没有向皇帝告状，他自己粉饰说：“为臣子者，不能为国家弭乱，反以琐事上渎君父之听，于心未安也。”实际的情况是，长沙是矛盾丛生之地，曾国藩与地方军政大员的关系已难以为继，要继续练兵，矛盾仍然不会减少，与其在矛盾中心挣扎，不如退居边缘专心练兵，以求有所成效。再则，巡抚、提督等人不同于一个区区副将，即使曾国藩告到皇帝面前，朝廷会不会为了一些本就无所谓谁对谁错的问题和一个在籍的前二品侍郎，就去处分地方大员?显然未必。事实证明曾国藩避走衡州一着棋是走对了，在衡州他打着为江忠源添练兵源的旗号，扩招勇丁，统一编制，勤加训练，又花大力气筹建了湘军水师。半年后，湘军北上作战时，水师已有大小战船360余号，水陆官兵及丁夫等共计17000余人，军容严整，令长沙诸公耳目一新。
独当一面，席卷两湖。曾国藩不但善于避开矛盾、专心办事，更善于通览全局、把握关键。他敏锐地观察到绿营兵不可用，必须在绿营之外单练一支新军;要消灭太平军，必须浮江东下，必须面对太平军的水营，因此也就必须建立一支强大的湘军水师与之对抗;主张湘、鄂、皖、赣四省联防，先后推江忠源、吴文镕主持大局。当太平军西征取得辉煌战果时，江忠源、吴文镕先后战死，长江中游的绿营主力已经或败或散，放眼两湖，能战的“生力军”舍曾国藩其谁?水师更是非湘军莫属。1854年2月25日，当年在长沙受够了鸟气的曾国藩，终于在皇帝三番五次的催促下，在长沙军民望之如甘霖、倚之如长城的渴盼中，威风凛凛地率军北上了。经过近一年互有胜负的征战，湘军席卷两湖、进军皖赣，收复了武昌等大城市和田家镇等要地，给屡屡战败的清政府打上了一剂强心针。这时的湘军，也已经羽翼丰满，成为与南京城外的江南大营、江北大营并列的主力部队了。