胡藩字道序，豫章南昌人。少年時(shí)成為孤兒，居喪以哀傷聞名。太守韓伯見(jiàn)了他，對(duì)胡藩的叔叔尚書(shū)胡少?gòu)V說(shuō)：“您的這個(gè)侄子一定會(huì)以義烈成名?！敝莞髡伲蝗ド先?，等二弟加冠結(jié)婚完畢，才到郗恢的軍幕中擔(dān)任參謀。當(dāng)時(shí)殷仲堪為荊州刺史，胡藩的妻兄羅企生是殷仲堪的參軍。胡藩從江陵經(jīng)過(guò)，去看望羅企生，從而勸說(shuō)殷仲堪說(shuō)：“桓玄的意趣沒(méi)有常性，您對(duì)他的崇信太過(guò)分了，不是迎接未來(lái)的好方法?！币笾倏昂懿桓吲d。胡藩下來(lái)后對(duì)羅企生說(shuō)：“倒過(guò)戈柄來(lái)交給別人，必定會(huì)導(dǎo)致大禍，如果不早早離開(kāi)，后悔就來(lái)不及了?！焙髞?lái)桓玄從夏口襲擊殷仲堪，胡藩參謀殷仲堪后軍軍事。殷仲堪失敗，羅企生果然因?yàn)楦鷱乃饬说溁肌?br />
　　胡藩轉(zhuǎn)換職務(wù)為太尉大將軍相國(guó)參謀軍事。宋武帝起兵，桓玄戰(zhàn)敗將要逃跑。胡藩拉著馬韁說(shuō)：“現(xiàn)在羽林軍的射手還有八百人，都是過(guò)去西部的義兵，一旦舍棄他們，再想回歸難道還能做得到嗎？”桓玄只是用鞭子指著天空。從此奔逃，互相失散，后來(lái)他在蕪湖追上了桓玄?；感?jiàn)了胡藩，高興地對(duì)張須無(wú)說(shuō)：“您這一州總是多出士人，今天又見(jiàn)到了王修。”桑落失敗后，胡藩的軍艦被燒毀，他穿著鎧甲跳入水中，潛泳了三十來(lái)步，才得以登岸。于是回到了家中。

　　武帝平時(shí)聽(tīng)說(shuō)胡藩對(duì)殷仲堪直言勸告，又為桓玄盡節(jié)，便召聘他到本鎮(zhèn)軍中參謀軍事。跟隨征討慕容超，慕容超的軍隊(duì)屯聚在臨朐。胡藩告訴武帝說(shuō)：“賊軍屯兵城外，留守部隊(duì)必然很少，現(xiàn)在前往攻取他的城池而斬?cái)嗨钠鞄茫@便是韓信戰(zhàn)勝趙軍的辦法。”武帝便派檀韶與胡藩秘密前往，于是攻克了此城。賊軍見(jiàn)城池陷落，立即逃走，退軍去保廣固。武帝又把它包圍起來(lái)，將要攻下的那天夜里，忽然有一只鳥(niǎo)像鵝一樣大，青黑色，飛入武帝帳幕中。眾人都認(rèn)為不祥。胡藩慶賀說(shuō)：“青黑，是胡虜?shù)念伾?。胡虜歸我，大吉大祥?！钡诙煸绯抗コ?，城被攻陷。他跟隨征討盧循到達(dá)左里，屢戰(zhàn)有功，被封為吳平縣五等子。

　　不久任命為鄱陽(yáng)太守，跟隨討伐劉毅。起初，劉毅要去荊州，上表請(qǐng)求繞道東部回建鄴辭別陵墓。離都城還有幾十里，沒(méi)再前行，面向?qū)m闕叩拜。武帝前往倪塘?xí)?jiàn)劉毅，胡藩請(qǐng)求把他殺掉，便對(duì)武帝說(shuō)：“您認(rèn)為劉衛(wèi)軍在您以下么？”武帝說(shuō)：“您以為怎樣？”他說(shuō)：“要論豁達(dá)大度，功高天下，聚集百萬(wàn)之眾，合乎天人愿望，劉毅當(dāng)然應(yīng)該佩服您。至于涉獵記傳，吟詠談?wù)f，自許為雄杰，進(jìn)行夸口，官紳白面之士，紛紛投歸，在這方面劉毅就不肯在您之下了?！蔽涞壅f(shuō)：“我與劉毅都有克復(fù)的功勞，他的罪過(guò)還沒(méi)有彰顯，不可以自相圖謀?！钡搅爽F(xiàn)在，又對(duì)胡藩說(shuō)：“以前如果聽(tīng)從了你在倪塘的計(jì)謀，就不需要有今天的行動(dòng)了?！?br />
　　他又跟隨征討司馬休之，做了參軍。徐逵之?dāng)⊥觯涞鄯浅Ｉ鷼?，?dāng)天就在馬頭岸渡江。江津岸邊峭壁千丈，司馬休之臨岸布陣，無(wú)法攀登。武帝叫來(lái)胡藩，命令攀登上岸，胡藩臉色猶疑。武帝發(fā)怒了，命令左右把他押來(lái)，想要斬他。胡藩不甘被殺，回過(guò)頭來(lái)說(shuō)：“寧可前進(jìn)而死?！北阌玫额^在岸上鑿孔，勉強(qiáng)容下腳指，徑直上攀，隨著攀上的人越來(lái)越多。登上以后，拼死戰(zhàn)斗，終于打敗了敵人。

　　跟隨討伐關(guān)中時(shí)，為太尉軍事參謀，統(tǒng)領(lǐng)另一支隊(duì)伍到了河?xùn)|。暴風(fēng)吹著輜重艦漂到北岸，魏軍得到了這只軍艦。胡藩十分氣憤，率領(lǐng)身邊十二人乘小船徑直前往。魏騎兵五六百人，看見(jiàn)胡藩前來(lái)，一齊笑他。胡藩善于騎射，登岸射擊，應(yīng)弦而倒的約有十人。魏軍通通退走，全部收復(fù)了所失的土地，然后返回。又派遣胡藩和朱超石等追魏軍到達(dá)半城，魏軍幾萬(wàn)人進(jìn)行合圍，胡藩和朱超石兵不滿(mǎn)五千，奮力作戰(zhàn)，大破了敵軍。武帝回到彭城，參與相國(guó)軍事。議論他平定司馬休之和廣固的功勞，封為陽(yáng)山縣男。元嘉年間(424～453)，位居太子左衛(wèi)率。死后，謚號(hào)為壯侯。兒子胡隆世繼承了他的爵位。

　　胡藩的幾個(gè)兒子，大都不遵守法度，第十四子胡遵世伙同孔熙先謀反，文帝因?yàn)楹枪Τ?，不想暴露這件事，便讓江州官員借其他事情把他殺死。第十六子胡誕世，第十七子胡茂世，后來(lái)企圖擁戴平民劉義康，交州刺史檀和之前往豫章，將他們討平。