李立三在總工會遭受錯誤批判后并沒有灰心，而是集中精力一心撲在勞動部的工作上。

1953年，我國恢復(fù)國民經(jīng)濟的任務(wù)完成了，國家進入了有計劃進行的社會主義建設(shè)和全面進行社會主義改造時期，黨中央提出和公布了黨在過渡時期的總路線。李立三根據(jù)黨中央的指示精神，提出勞動部在新時期的基本任務(wù)是，在黨的總路線指引下，做好勞動工作，為生產(chǎn)建設(shè)服務(wù)，除了繼續(xù)完成國民經(jīng)濟恢復(fù)時期沒有完成的任務(wù)以外，還必須加強勞動力的調(diào)配和技術(shù)工人的培訓(xùn)工作。

這年3月，李立三親自帶領(lǐng)一部分干部去了武漢，專門就手工業(yè)問題做了一個多月的調(diào)查研究。他在那里一邊召開了一系列的座談會，調(diào)查研究情況，一邊深入手工業(yè)作坊，同手工業(yè)業(yè)主和工人談話，了解他們的資金、產(chǎn)品、生產(chǎn)、銷售、利潤等一系列具體問題。然后又召開了硚口會議，請武漢和華中地區(qū)的一些手工業(yè)管理部門的干部參加，就在社會主義建設(shè)第一個五年計劃期間，如何發(fā)揮手工業(yè)在國民經(jīng)濟和人民生活中的作用問題作了全面研究。在此基礎(chǔ)上，他給黨中央寫報告，熱情建議成立一個全國性的手工業(yè)協(xié)會，以加強對手工業(yè)的領(lǐng)導(dǎo)，充分發(fā)揮手工業(yè)在國民經(jīng)濟中的作用。

由于李立三在大革命時代曾兩次在武漢工作，許多在20年代就同他相識的一些人紛紛去找他，想通過他給他們或安排工作，或解決一些個人問題。李立三讓秘書盡量擋駕，有的老朋友前來敘舊，非見不可的，他出來熱情接待，向他們宣傳黨的政策，進行思想工作。凡提出工作安排問題的，他都請當(dāng)?shù)攸h委或勞動部門去解決。

1954年，國務(wù)院成立了以賈拓夫為主任的第四辦公室，勞動部歸口受這個辦公室領(lǐng)導(dǎo)?！八霓k”剛一成立，李立三就讓秘書把他簽署過的勞動部歷年的文件選出一套，親筆附上說明，送給賈拓夫?qū)忛?，供他了解情況加強領(lǐng)導(dǎo)。這件事充分反映李立三謙虛謹慎、不擺老資格的工作態(tài)度，給賈拓夫以及下級干部留下了良好印象。此事也受到周恩來的高度贊譽，他在一個黨內(nèi)會議的發(fā)言稿上，親筆寫了批語，說李立三在總工會工作受了批評之后，不氣餒，不消極，繼續(xù)積極工作，表現(xiàn)了共產(chǎn)黨員的應(yīng)有品質(zhì)。

這年5月，李立三計劃到一些地方去搞調(diào)查研究，5月3日，他以書面形式向有關(guān)領(lǐng)導(dǎo)請示：

富春、拓夫同志并轉(zhuǎn)少奇同志：

我想最近到上海、武漢、西安等地區(qū)研究一下地方勞動局的工作問題和工資問題，預(yù)定一個月左右回京。勞動部的工作，擬請劉亞雄同志代理，工資工作，擬請宋平同志代管?？煞瘢埮?。并請考慮，可否請中央通知一下當(dāng)?shù)攸h委給我以指示和幫助。

李立三這個請示，當(dāng)即得到賈拓夫、李富春、劉少奇、楊尚昆的批示同意。

5月6日，李立三又寫出報告給鄧小平副總理，請假一個月，鄧小平、劉少奇于5月7日批示同意。

于是，他又帶著勞動部的干部去了華東、華中、西北三大區(qū)，就勞動工資問題進行了近兩個月的實際調(diào)查?；貋砗?，他在北京召開上述三大區(qū)的勞動工資處長會議，會議起草了一個關(guān)于工資調(diào)整問題的文件，為工資調(diào)整做了積極的準備。

正當(dāng)他興致勃勃地在思考著如何進一步改進勞動部工作的時候，1954年9月，迎來了第一次全國人民代表大會在北京召開。這是我國國家政權(quán)建設(shè)一次里程碑式的會議。李立三作為人民代表參加了會議。這次會議通過了我國第一部憲法，并依選舉法程序，選舉產(chǎn)生了國家主席和國務(wù)院機構(gòu)。但是，李立三的名字被從部長提名名單中勾掉了，實際上等于宣布是免去了他勞動部部長的職務(wù)。

對李立三來說，這次“罷官”是他政治上的又一次跌跤。他不得不痛苦地接受從此“賦閑”的事實。經(jīng)黨中央批準，他去江蘇、浙江、廣東、湖南、湖北等地休假。各地領(lǐng)導(dǎo)同志仍然熱情接待他，這使他十分感動。借此機會，他也順路回了一趟湖南醴陵的老家。自1923年他離開家鄉(xiāng)30多年以后，這是他第一次回到醴陵。他在有官有職時沒有回過故鄉(xiāng)，卻在被罷官后還鄉(xiāng)，其心情自然是微妙而又復(fù)雜的。所以他謹言慎行，更加嚴格地要求自己。誰都知道，他的老家離當(dāng)年他投身革命創(chuàng)造過輝煌業(yè)績的安源僅一步之遙，但他就是告誡自己絕不踏進安源一步。他只是請了個別安源老工人到他家里來敘舊。

事后，他對秘書語重心長地說：安源是我很想念的地方，但是我去安源會引起人們對我革命歷史的稱頌，這在政治上是不適宜的。我年輕時在安源搞工運的成功，都是客觀形勢造成的，是毛主席領(lǐng)導(dǎo)的結(jié)果。年輕時的成功，助長了主觀盲動的傾向，是我后來犯錯誤的一個原因。

對于正在“賦閑”的李立三，黨中央還是準備分配適當(dāng)?shù)墓ぷ鳌．?dāng)時，黨中央書記處下設(shè)4個辦公室，分別歸口抓幾個業(yè)務(wù)部門的工作。中央準備分配李立三擔(dān)任主管農(nóng)業(yè)的第二辦公室主任工作。中央秘書長鄧小平代表中共中央找李立三談話，傳達了中央的意圖。李立三在感謝中央能繼續(xù)給自己分配工作之余，還是誠懇地對鄧小平提出，自己多年來對農(nóng)業(yè)接觸太少，幾乎一竅不通，請示是否能把自己派到工業(yè)口，鄧小平告訴李立三，黨中央管工業(yè)的第三辦公室已經(jīng)派定李雪峰做主任。李立三接著說：“那么我去給雪峰當(dāng)助手好了?！编囆∑綖殡y地說：“可他現(xiàn)在連中央候補委員都不是……”話猶未盡，言下之意說你是中央委員，怎么會在不是中央委員的李雪峰領(lǐng)導(dǎo)下工作？當(dāng)副手？鄧小平的話還沒說完，李立三就搶著說：“以黨性保證，即使我在工作上犯錯誤，保證不會在組織原則上犯錯誤，我一定遵從雪峰的領(lǐng)導(dǎo)，請黨中央放心！”只要有工作做，對于李立三來說，級別的高低、職務(wù)的大小從不在他的考慮范圍之內(nèi)。