1946年，我東北民主聯(lián)軍經(jīng)過(guò)“四平保衛(wèi)戰(zhàn)”，沉重地打擊了敵人，但部隊(duì)也有較大傷亡。6月，根據(jù)中央決定，東北局進(jìn)行了改組。新的東北局在哈爾濱召開(kāi)了會(huì)議，做出了有歷史意義的“七七決議”。此時(shí)，經(jīng)羅榮桓推薦，中央軍委批準(zhǔn)，學(xué)成歸國(guó)的劉亞樓出任東北民主聯(lián)軍參謀長(zhǎng)。

劉亞樓上任后便抓緊時(shí)間熟悉情況。他感到，雖然我軍在抗日戰(zhàn)爭(zhēng)時(shí)期各部隊(duì)已經(jīng)有了司令部工作，但司令部組織機(jī)構(gòu)和業(yè)務(wù)很簡(jiǎn)單。當(dāng)時(shí)司令部干部都是由關(guān)內(nèi)各根據(jù)地調(diào)到東北的部隊(duì)臨時(shí)抽調(diào)組建而成的，來(lái)自五湖四海。他們雖然有工作熱情，但思想作風(fēng)、工作經(jīng)驗(yàn)、制度均有差異，且普遍業(yè)務(wù)素質(zhì)較低，組織很不健全，分工也不明確。司令部機(jī)關(guān)的幾個(gè)主要部門特別是情報(bào)和通訊基本處于敵情不明、上下不通的狀態(tài)，司令部工作比較被動(dòng)。

劉亞樓認(rèn)為，司令部要適應(yīng)復(fù)雜的戰(zhàn)爭(zhēng)形勢(shì)，適應(yīng)游擊戰(zhàn)向運(yùn)動(dòng)戰(zhàn)的戰(zhàn)略轉(zhuǎn)變，必須健全組織機(jī)構(gòu)，加強(qiáng)業(yè)務(wù)建設(shè)，提高作戰(zhàn)指揮的能力。他首先抓了情報(bào)部門的組織充實(shí)和業(yè)務(wù)建設(shè)。把關(guān)內(nèi)來(lái)的、凡是做過(guò)情報(bào)工作的干部集中起來(lái)，成立了技術(shù)偵察部門，加強(qiáng)了司令部的偵察隊(duì)伍和技術(shù)訓(xùn)練。

與此同時(shí)，劉亞樓根據(jù)領(lǐng)導(dǎo)層分工對(duì)當(dāng)時(shí)部隊(duì)的工兵、炮兵、裝甲兵、航空兵工作給予指導(dǎo)。他任東北航校校長(zhǎng)期間（此間他還兼任俄文學(xué)校、參謀學(xué)校校長(zhǎng)），不等不靠，自力更生，埋頭苦干，提出“短小精干，持久延長(zhǎng)”的辦校思想，為我軍空軍建設(shè)培養(yǎng)了人才，保留了骨干。特別在炮兵建設(shè)方面，他全力支持朱瑞司令工作，在炮兵使用和步炮協(xié)同作戰(zhàn)上花費(fèi)了大量心血，經(jīng)他不懈的努力，民主聯(lián)軍炮兵得到迅速發(fā)展。

在司令部業(yè)務(wù)建設(shè)方面，劉亞樓為培養(yǎng)充實(shí)基層參謀人員，從部隊(duì)抽調(diào)了100名具有高小、初中文化程度的連排干部，連同司令部原有參謀人員，在哈爾濱連續(xù)辦了三期參謀集訓(xùn)隊(duì)，每期六個(gè)月，他多次親自授課。每次學(xué)習(xí)期滿，考試合格發(fā)結(jié)業(yè)證書。

劉亞樓的參謀長(zhǎng)工作非常辛苦繁忙，為了彌補(bǔ)學(xué)習(xí)材料的不足，他利用夜晚休息時(shí)間，親自翻譯了俄文版的《紅軍野戰(zhàn)參謀業(yè)務(wù)條令》下發(fā)到民主聯(lián)軍團(tuán)以上司令部，參謀人手一冊(cè)。盡管蘇軍參謀業(yè)務(wù)與我軍司令部工作不盡相同，但在當(dāng)時(shí)環(huán)境下，這部條令對(duì)規(guī)范司令部業(yè)務(wù)起到了很大的指導(dǎo)作用。

1947年夏季攻勢(shì)歷時(shí)50天，東北民主聯(lián)軍殲敵8萬(wàn)余人，收復(fù)縣城42座，解放敵占區(qū)萬(wàn)平方公里，控制鐵路線2500公里，使中長(zhǎng)鐵路陷入癱瘓。東北戰(zhàn)場(chǎng)戰(zhàn)略主動(dòng)權(quán)發(fā)生了轉(zhuǎn)變，但也存在一些問(wèn)題。為了及時(shí)總結(jié)經(jīng)驗(yàn)教訓(xùn)，劉亞樓建議召開(kāi)了第一次參謀工作會(huì)議。劉亞樓主持會(huì)議，他充分發(fā)揚(yáng)民主，廣泛聽(tīng)取到會(huì)同志的批評(píng)和建議，然后根據(jù)參謀人員反映的“四多四少”（使用多培養(yǎng)少，批評(píng)多表?yè)P(yáng)少，碰釘子多撐腰少，任務(wù)多級(jí)別少），從思想教育入手，解決實(shí)際問(wèn)題。此舉調(diào)動(dòng)了參謀人員的積極性，穩(wěn)定了司令部機(jī)關(guān)隊(duì)伍。

在作戰(zhàn)指揮上，他不愿過(guò)多干擾上級(jí)，但發(fā)現(xiàn)問(wèn)題就及時(shí)提出。如遼沈戰(zhàn)役中，華北敵人向葫蘆島增兵，在“攻錦”問(wèn)題上林彪曾一度產(chǎn)生過(guò)顧慮，給中央軍委發(fā)電報(bào)想回師長(zhǎng)春。劉亞樓覺(jué)得不妥，他及時(shí)找羅榮桓政委商量，然后一起提出意見(jiàn)，林彪很快改變了決心，將原先電報(bào)作廢，繼續(xù)決定攻打錦州。

劉亞樓在指揮中善于通過(guò)對(duì)小問(wèn)題的發(fā)現(xiàn)，看到戰(zhàn)術(shù)運(yùn)用的重大原則。他非常重視炮兵使用的一般原則、火力組織、協(xié)同動(dòng)作，多次在各種會(huì)議上講解示范，指導(dǎo)部隊(duì)運(yùn)用于實(shí)踐。但他更重視對(duì)炮兵戰(zhàn)術(shù)技術(shù)的具體運(yùn)用。

對(duì)遼沈戰(zhàn)役發(fā)起的戰(zhàn)略佯動(dòng)和隱蔽偽裝，劉亞樓指導(dǎo)司令部做了大量工作。為了做到這一點(diǎn)，他指揮各部隊(duì)用原有電臺(tái)在原駐地正常工作，給敵人以“東野”尚未行動(dòng)的錯(cuò)覺(jué)。而各縱隊(duì)攜帶新的電臺(tái)，夜行曉伏隱蔽地向錦州開(kāi)進(jìn)，在到達(dá)指定地點(diǎn)前不準(zhǔn)出現(xiàn)空中信號(hào)。在東北我軍控制區(qū)頻繁放出攻打長(zhǎng)春的空氣，少量圍困長(zhǎng)春的部隊(duì)晚上向南、向西、向東運(yùn)動(dòng)，白天又回頭向長(zhǎng)春開(kāi)進(jìn)，暴土揚(yáng)塵，給敵人空中偵察造成我軍繼續(xù)向長(zhǎng)春集結(jié)兵力的錯(cuò)覺(jué)。

對(duì)鐵路運(yùn)輸也做出周密安排。南進(jìn)部隊(duì)白天分散在小站上待避，夜間則魚貫前進(jìn)，向北開(kāi)的都是部隊(duì)運(yùn)到后北返的空車?！皷|野”前線指揮所9月21日乘火車從雙城向前線開(kāi)進(jìn)，為造成敵人錯(cuò)覺(jué)，火車先向北開(kāi)哈爾濱，經(jīng)短暫停留后，向東南牡丹江方向行駛，然后掉頭西返，經(jīng)齊齊哈爾、白城子南下。在錦州戰(zhàn)役打響前，許多部隊(duì)都不知道具體任務(wù)，直到大部分部隊(duì)已到錦州城下，總部才發(fā)布協(xié)同命令。而直到兵臨錦州城下，衛(wèi)立煌、范漢杰才驀然醒悟“東野”的意圖。這不能不說(shuō)明劉亞樓嚴(yán)密的組織工作。