事實(shí)上，1926年8月20日，在北伐開始的時(shí)候，他發(fā)表過(guò)一項(xiàng)宣言，表示只要外國(guó)人不妨礙北伐運(yùn)動(dòng)和國(guó)民革命軍的行動(dòng)，不管他們的國(guó)籍如何，對(duì)他們的財(cái)產(chǎn)將給予保護(hù)。

雖然蔣的部隊(duì)在攻下漢口數(shù)月之后于1月3日發(fā)生了嚴(yán)重的反英事件，但在一般情況下，國(guó)民革命軍在許多城市執(zhí)行了這一命令。

當(dāng)?shù)诹姷牟筷?duì)3月24日進(jìn)入南京時(shí)，對(duì)外國(guó)的機(jī)構(gòu)進(jìn)行了攻擊和掠奪，蔣對(duì)此很惱火。在這些機(jī)構(gòu)中，有商業(yè)公司，羅馬天主教會(huì)，還有英、美、日的領(lǐng)事館等，大約有12個(gè)外國(guó)人喪生。為了躲避士兵，也為了躲避外國(guó)艦艇報(bào)復(fù)的炮火，百姓們紛紛躲到城墻腳下。

蔣來(lái)到現(xiàn)場(chǎng)，對(duì)第六軍的第三師采取了無(wú)情的行動(dòng)，繳了他們的械，并處決了30~40人。

后來(lái)?yè)?jù)說(shuō)共產(chǎn)黨的政治委員插手了這一事件，（蔣寫道）“他們希望挑動(dòng)外國(guó)勢(shì)力和革命軍發(fā)生直接的沖突”。但正像吉勒麥茲所指出的那樣，很難看出對(duì)外國(guó)租界的掠奪會(huì)給共產(chǎn)黨帶來(lái)什么好處，那很可能只是一次軍隊(duì)違紀(jì)事件。

很快，蔣在上海陷入了更嚴(yán)重的麻煩之中，在周恩來(lái)等人組織的80萬(wàn)工人罷工配合下，國(guó)民軍1927年3月22日攻占了上海。共產(chǎn)黨武裝了工人糾察隊(duì)，接著便發(fā)生了殘酷的巷戰(zhàn)。在此過(guò)程中，約有200名工人被打死，1000名工人被打傷。隨后，他們建立了臨時(shí)市政府，使局勢(shì)有利于自己。

蔣在南昌的司令部里，注視著這些事情，心里憋著一股怒火。開始是左派在武漢建立政府，對(duì)他在國(guó)民黨中的權(quán)威表示蔑視?，F(xiàn)在，共產(chǎn)黨又奪取了上海。

他發(fā)表講話，但不起作用。他時(shí)而調(diào)和，時(shí)而挑釁，在3月10日的一篇講話中，二者兼而有之。他說(shuō)：

他沒(méi)有打算不與共產(chǎn)黨合作，而且還主張把他們拉進(jìn)國(guó)民黨。但是，共產(chǎn)黨現(xiàn)在已達(dá)到力量和聲望的頂點(diǎn)，如果他們對(duì)自己的行為不加控制的話，他們將給國(guó)民黨帶來(lái)災(zāi)難。

他說(shuō)他不反共，他感激共產(chǎn)黨的支持和同情，但共產(chǎn)黨不能在國(guó)民黨內(nèi)謀求優(yōu)勢(shì)，壓制國(guó)民黨中的溫和派。

武漢政府沒(méi)有理睬蔣的指責(zé)。中央執(zhí)行委員會(huì)撤銷了蔣作為政治委員的職務(wù)，使其總司令之權(quán)隸屬于新的軍事委員會(huì)。

他在國(guó)民黨中的所有重要職務(wù)，都轉(zhuǎn)給了他的對(duì)手汪精衛(wèi)。那時(shí)，汪正在從法國(guó)返回的途中。該委員會(huì)還通過(guò)發(fā)表公告對(duì)他進(jìn)行譴責(zé)。指責(zé)他是專制者和獨(dú)裁者，說(shuō)他的統(tǒng)治保護(hù)“官僚、商人和其他機(jī)會(huì)主義者”。

按照蔣的說(shuō)法，是共產(chǎn)國(guó)際勸汪精衛(wèi)經(jīng)莫斯科回國(guó)的。盡管他們之間發(fā)生過(guò)一些事情，但蔣明顯對(duì)汪的回國(guó)仍抱著希望，認(rèn)為他的老同事會(huì)因汪的回國(guó)而被重新啟用。汪1927年4月1日回國(guó)后的幾天里，蔣和汪在上海會(huì)晤了好幾次。

接下來(lái)發(fā)生的事情是，根據(jù)蔣的建議，一個(gè)姓吳的國(guó)民黨人參加了“清黨”會(huì)議的討論，此人是蔣在控制委員會(huì)中的忠實(shí)信徒。

會(huì)議的重點(diǎn)是討論“清除共產(chǎn)黨”的問(wèn)題。當(dāng)他們干這件事的時(shí)候，一些遠(yuǎn)離革命的地主和富人發(fā)現(xiàn)他們有救了。吳在會(huì)上作了報(bào)告，報(bào)告中對(duì)共產(chǎn)黨和鮑羅廷進(jìn)行了攻擊。

4月5日，汪同來(lái)上海的共產(chǎn)黨領(lǐng)袖陳獨(dú)秀發(fā)表了一個(gè)聯(lián)合宣言，重申共產(chǎn)黨接受孫中山的三民主義，并且進(jìn)行了辟謠。因?yàn)橛兄{言說(shuō)，共產(chǎn)黨企圖破壞國(guó)民軍，并攻擊租界；而國(guó)民黨準(zhǔn)備解除共產(chǎn)黨工人糾察隊(duì)的武裝，并將共產(chǎn)黨開除出黨等。