籌備建立共產黨的事宜正在緊張地進行，張國燾在為陳獨秀分擔工作的同時，也有機會了解到陳獨秀的建黨思想，并有足夠的時間與陳獨秀探討當前局勢、三民主義、社會革命、共產主義運動，以及建黨的諸多問題。

陳獨秀在許多問題上的見解都使他受益匪淺，又親眼見到、親身參與建黨活動，使他無論從感性認識還是從理論認識上，都有了一個大的飛躍。

8月，上海共產黨小組正式成立，機關刊物為《共產黨》，這是中國第一個共產黨小組。9月，張國燾興致勃勃返回北京。此時皖系軍閥在直皖大戰(zhàn)中失敗，北京政權被直系曹錕、奉系張作霖聯(lián)合控制，形勢已趨穩(wěn)定。張國燾重返校園后，首先去紅樓李大釗在圖書館的辦公室，向李大釗介紹了上海共產黨小組成立的詳情，并說：

“陳獨秀先生讓我轉告您，希望您能在北京盡快成立共產黨小組?！?/p>

“好，我已經有個初步考慮?！?/p>

此時李大釗已經收到陳獨秀的來信，請他在北京成立共產黨小組，以南北呼應

“我們就依照上海共產黨小組的模式，在北京也建立一個同樣的共產黨小組。”

隨后，李大釗將自己的決定告知張申府，邀請他參與發(fā)起建立共產黨小組。張國燾則聯(lián)系了羅章龍、劉仁靜兩名同學參加進來。

9月中旬，北京共產黨小組在李大釗的圖書館主任辦公室召開第一次會議，張國燾、張申府、劉靜仁、羅章龍與無政府主義者黃凌霜、陳德榮等共九人到場，與李大釗共同商議發(fā)起北京共產黨小組的相關問題。

張國燾向大家介紹了上海共產黨小組的詳細情況，會議最終商定了工作如何進行和分配，其中李大釗負責聯(lián)絡工作，張國燾擔任工人運動的發(fā)動工作，黃凌霜、陳德榮負責創(chuàng)辦《勞動音周刊》的編輯與發(fā)行工作，羅章龍、劉仁靜負責組織社會主義青年團。