左宗棠其后和湘軍猛將鮑超合謀準備攻下建德，為祁門之圍解困。這時的左宗棠已經(jīng)升為三品京堂候補。然而，1861年2月左宗棠遭遇了一次大敗。是月，侍王李世賢攻占婺源、平樂、鄱陽等地，兵鋒直指浮梁和景德鎮(zhèn)。左宗棠連忙派王開林、羅近秋迎戰(zhàn)。結果，李世賢半路伏兵，王開林大敗，陳明南戰(zhàn)死。

同時，李世賢出奇兵，從小道進攻景德鎮(zhèn)，守將湘軍將領陳大富鎮(zhèn)守，最終陳大富兵敗投水自盡。左宗棠見景德鎮(zhèn)丟失只好率兵退守樂平。李世賢迅速調兵進攻樂平，左宗棠高掛免戰(zhàn)牌，堅守城池不出。左宗棠見太平軍心生倦怠，立刻出兵突襲，將李世賢擊退20多里。

3月30日，李世賢率領大軍“十萬”（太平軍經(jīng)常虛報人數(shù)，以嚇唬對手）進攻樂平。實際太平軍人數(shù)大約為三萬到五萬之間，即使如此，也是城中左宗棠5千人的數(shù)倍。李世賢主攻城東北到城西一線，眼見城池不保，左宗棠突然分三路主動出擊與太平軍短兵相接，左宗棠和劉典居中，西邊是王開化，東邊是王開琳。

李世賢萬萬沒想到左宗棠竟然敢主動進攻，一時慌亂，頃刻間大軍潰敗。打仗前軍知道敵情，而后軍卻不知道陣前形勢，見前軍潰退，頓時驚慌失措。前后軍互相踩踏，李世賢領導不利。此役，李世賢損兵5000多人，率部隊退往浙江，左宗棠趁勢迅速占領浙江西南大片地區(qū)，到了8月份攻下了浙江重鎮(zhèn)紹興，10月份攻占寧波、臺州。

見浙江只剩下了杭州、衢州、溫州、湖州等幾個戰(zhàn)略據(jù)點，經(jīng)過政變上臺的慈禧太后，立刻命令左宗棠馳援浙江。早在李世賢占領浙江西南地區(qū)的6月，晚清政府就曾調左宗棠入浙。因江西戰(zhàn)況危急，曾國藩拒絕調走左宗棠。而到了11月份湘軍已經(jīng)占據(jù)有利地位，因此，曾國藩并未阻攔并在12月份提請左宗棠為浙江巡撫。

左宗棠此時的楚軍已經(jīng)達到了8千人，與此同時，請調浙江布政使蔣益澧、湖南總兵劉培元來助，并要求二人各募3千。二人到達后，左宗棠命劉培元組建水師，左成為楚軍水師統(tǒng)帥。就在左宗棠勢力越來越強之際，他的好朋友胡林翼卻因病而亡。

1861年8月的安慶會戰(zhàn)以湘軍勝利告終。26日胡林翼因肺結核病逝，湘軍鐵三角就此完結。左宗棠因為身在軍中不能前往吊唁，特寫祭文一篇，文中泣曰：“交公若年，哭公暮齒。自公云亡，無與為善，孰拯我窮？孰救我偏？我憂何訴？我喜何告？我苦何憐？我死何吊？追維疇昔，歷三十年，一言一笑，愈思愈研有酒如茲，有淚如絲，盡此一哀，公其鑒茲?！?/p>