然而，一場黨內(nèi)政治斗爭使潘文郁的人生開始從巔峰跌入低谷。

潘文郁的人生發(fā)生重大轉(zhuǎn)折，與王明有很大關(guān)系。1929年王明從莫斯科回到上海，此時的王明雖無官職，但卻和共產(chǎn)國際某些人有著特別好的關(guān)系。他在莫斯科中山大學學習的時候，就是共產(chǎn)國際領(lǐng)導人米夫眼里的大紅人。從一些小事上，可以看出他的特殊地位。例如王明回國途中的待遇，就與眾不同。米夫還作了特意的安排，火車上坐的是頭等包廂，兩人一個小包間，享受的是政治局委員的待遇。海參崴換輪船的時候，王明坐的是二等艙，其他的留學生大都坐三等艙。早在1927年4月，米夫在他任莫斯科中山大學副校長期間，就攜帶中大他最寵愛的學生王明到武漢，代表共產(chǎn)國際參加了中共五大，從而為王明在中共黨內(nèi)樹起了一定的形象。而剛從蘇聯(lián)回國時，王明只是《紅旗》雜志的一名普通編輯，在潘文郁的領(lǐng)導之下。王明對馬列主義的教條背得滾瓜爛熟，這也正是他深得米夫器重的地方。

同是莫斯科中大的學員，潘文郁成為中共主要領(lǐng)導人的得力助手，王明卻只是個普通編輯，他對潘文郁既羨慕又嫉妒。正巧不久又發(fā)生了王明被拘禁事件，王明對潘文郁產(chǎn)生了更大怨氣。那是1930年1月的一天，王明參加上海工會聯(lián)合會，被巡捕當做普通違法分子拘禁。有報道說，當時王明買通了一個印度巡捕，巡捕說“你找人拿錢我就放人”，王明違反地下工作紀律直接給潘文郁寫了個條子，送信給潘文郁，請求營救，并詢問有關(guān)同志的地址。這在事實上造成了泄密，嚴重違反了黨的保密原則。為了不讓黨組織遭受更大損失，潘文郁迅速向中央作了匯報。中共中央隨即采取緊急措施，及時轉(zhuǎn)移王明知道的機關(guān)。此后，王明被共產(chǎn)國際的米夫保釋出獄，受到了黨內(nèi)警告處分，并被調(diào)到總工會宣傳部當了一名編輯。受到紀律處分后，王明遷怒于潘文郁，對潘文郁沒有及時保釋自己，一直耿耿于懷。

1930年底，莫斯科中山大學關(guān)門后，米夫又代表共產(chǎn)國際到上海來參加中共六屆四中全會。1931年1月7日，中共六屆四中全會在上海舉行。向忠發(fā)主持會議，并作了《中央政治局報告》。會上充滿了激烈的斗爭，王明在會上概述了他根據(jù)國際文件寫成的名為《兩條路線的斗爭》的小冊子中的觀點。在米夫的一手操縱下，會議選舉了新的中央政治局委員和候補中央委員。結(jié)果，李立三、瞿秋白等人落選，而原來連中央委員都不是的王明，一躍進入政治局成為委員，并擔任中央書記處書記。名義上向忠發(fā)繼任總書記，實際上由王明獨攬大權(quán)。王明一步登天后，隨即以消除“立三路線”為名，對原來中央各部門的負責人和工作人員實行打擊，重新分配他們的工作。潘文郁是李立三的得力助手，王明對他有意打壓，潘文郁被解除中央宣傳部秘書的職務。一個月后，中共順直省委遭到破壞，北方形勢嚴峻，于是潘文郁從上海被派到北平，擔任中共順直省委一般的宣傳干事，人生開始走向低谷。

1931年的6月22日，原中共中央總書記向忠發(fā)私自外出，被國民黨上海警備司令部逮捕，寫下自首書后的第三天被處死。盡管潛伏在敵人內(nèi)部的中共地下黨員“龍?zhí)度堋敝坏腻X壯飛及時傳出情報，避免了由此可能帶來的重大損失，但給中共帶來的危害依然是巨大的。隨即，中央軍委干部胡章原投敵，導致中央宣傳部負責人羅綺同和中央監(jiān)察委員楊匏安等16人被捕。羅綺同自首叛變，楊匏安被殺害。