他說(shuō)：“上海是一個(gè)所有國(guó)家的人匯集的地方，如果我們這兒的人不守秩序的話，那么，我們的任務(wù)將變得倍加艱難。上海的環(huán)境太糟糕了，大部分駐扎在此地三個(gè)月或者最多半年的軍隊(duì)都要變得士氣低落，軟弱無(wú)力。因此，我們這些軍官必須下決心控制好部隊(duì)，使士兵免受各種誘惑，約束他們的惡習(xí)，并為我們的士兵樹(shù)立榜樣。”

幾天后，當(dāng)他回到南京時(shí)，他決心采取無(wú)情的行動(dòng)，槍決了50名士兵，因?yàn)樗麄儽恢缚貐⑴c了頭一年反對(duì)外國(guó)的暴亂。此外還有很多人遭到軍事逮捕。

這便是他向外國(guó)勢(shì)力保證不再干擾他們的方式。他希望與他們的接觸范圍縮小而不是疏遠(yuǎn)。隨后，他又正式向他們保證，在北伐期間將不會(huì)再有任何反對(duì)外國(guó)人的暴行。接著，他呼吁外國(guó)停止向軍閥提供武器和資金，因?yàn)槟菢訒?huì)延長(zhǎng)內(nèi)戰(zhàn)。

月底，蔣把他的指揮部移到了徐州，這是北伐第二階段國(guó)民軍前進(jìn)所至的最北處。他把他的部隊(duì)在揚(yáng)子江的北岸按東西線部署。大約有70萬(wàn)人聽(tīng)從他的指揮，這是第一次北伐軍隊(duì)的近7倍。而他面對(duì)的是張作霖的40萬(wàn)人馬——由他的兒子張學(xué)良（“少帥”）指揮，另外6萬(wàn)人由別的將領(lǐng)指揮。

4月7日，蔣宣布發(fā)起總攻，他的戰(zhàn)略很清楚，而且最初是嚴(yán)格按照計(jì)劃進(jìn)行的。主力部隊(duì)是他自己的一路軍，沿著津浦線向北挺進(jìn)。與此同時(shí)，馮玉祥的二路軍和閻錫山的三路軍分別從南部和西部進(jìn)攻河北，把東北軍閥的部隊(duì)從主戰(zhàn)場(chǎng)牽制過(guò)來(lái)。進(jìn)攻開(kāi)始后的第21天，國(guó)民軍開(kāi)進(jìn)了山東省會(huì)濟(jì)南。

然而在濟(jì)南，他們受到了一個(gè)新的意想不到的敵人——日本人的阻攔。日軍的一系列暴行是由所謂的“濟(jì)南事件”引起的。

日本人曾一度為蔣感到一絲驕傲，因?yàn)槭Y受的是他們的那套嚴(yán)格的軍事訓(xùn)練；但現(xiàn)在他們卻把蔣看成是對(duì)他們掠奪北方計(jì)劃的一個(gè)威脅，應(yīng)該以某種方式控制住蔣，否則他要把日本的保護(hù)對(duì)象——張作霖趕出北京。

日本人制造“濟(jì)南事件”是因?yàn)樵谀抢镉兄匾纳虡I(yè)利益。根據(jù)1919年的一個(gè)協(xié)議，日本已接管了德國(guó)在山東的特權(quán)。中國(guó)還沒(méi)有承認(rèn)這一現(xiàn)狀，日本卻決定行使這一權(quán)利，并把它作為阻撓國(guó)民黨北伐的理由。所以，他們向這個(gè)城市派駐了大量部隊(duì)。

蔣介石急于避免沖突。他的部隊(duì)沒(méi)有必要經(jīng)過(guò)濟(jì)南，因?yàn)楸辈康能婈?duì)已經(jīng)潰退，于是他命令軍官們不要進(jìn)駐濟(jì)南。但是，其中有名軍官可能誤解了這個(gè)命令，也可能對(duì)之表示蔑視，結(jié)果他們開(kāi)進(jìn)了濟(jì)南。不久，國(guó)民黨軍和日本便處于緊張對(duì)峙狀態(tài)。

第一起暴行發(fā)生了。日本人包圍了國(guó)民黨政府外交部駐當(dāng)?shù)氐霓k事處，割掉了負(fù)責(zé)人及16名人員的鼻子和耳朵，隨后又殺害了他們。

當(dāng)蔣派遣的國(guó)民政府外交部長(zhǎng)前去和日本將領(lǐng)談判時(shí)，也遭到逮捕。在脅迫下，他簽署了一項(xiàng)聲明，譴責(zé)中國(guó)人首先挑起了事端。

與此同時(shí)，濟(jì)南城遭到了機(jī)關(guān)槍的掃射和炮轟。總司令面臨著兩種選擇，他要么抵抗日本人，但這必須冒著劇烈對(duì)抗和戰(zhàn)敗的危險(xiǎn)；要么屈服于日本人，繼續(xù)向北進(jìn)攻。他選擇了后者，靜悄悄地從濟(jì)南撤出了他的部隊(duì)，把他的主力部隊(duì)轉(zhuǎn)移到河南他接管的地區(qū)。當(dāng)戰(zhàn)火停息的時(shí)候，這一退卻給他招來(lái)許多批評(píng)。

濟(jì)南事件使北伐停止了一個(gè)星期。到五月底，蔣已鏟除了阻礙其進(jìn)程的三個(gè)軍閥中的兩個(gè)——吳佩孚和孫傳芳。第三個(gè)軍閥張作霖也準(zhǔn)備讓出北京，而且后來(lái)還丟了命。