接下來(lái)的事情讓李義府更加被動(dòng)了起來(lái)。不久，李義府的母親去世了，高宗給了他服喪的假，但是李義府不知道是怎么想的，竟然在那些日子里穿上便服，會(huì)上方士杜元紀(jì)到城東，爬上高高的古墓上望氣色。這一次又被抓住了把柄，有人告發(fā)他，說(shuō)這是窺覘災(zāi)異，等著有改朝換代的事情發(fā)生，他趁機(jī)謀反。只要罪名一涉及“謀反”二字，就嚴(yán)重了。

接二連三的倒霉事一齊向李義府襲來(lái)了，不久，又有人告發(fā)他的兒子右司議郎李津賣(mài)官給長(zhǎng)孫無(wú)忌的孫子長(zhǎng)孫延等等。

武則天實(shí)在看不下去了，是可忍，孰不可忍！最終，東窗事發(fā)的日子還是到了，李義府和他那三個(gè)不成器的兒子向來(lái)被人們合稱“四兇”，這一來(lái)，一起被流放，倒也省事。除掉了這“四兇”，百姓們竟樂(lè)得奔走相告，可見(jiàn)李義府的惡事已經(jīng)做到了什么程度。

就這樣，武則天像打掃一間久未整理過(guò)的屋子一樣，打掃著朝廷人事，整頓吏治，一時(shí)頗有開(kāi)啟一代新風(fēng)的氣息。