劉琨在軍事上毫無建樹，唯有"月夜奏笳退胡騎"成為他一生最經(jīng)典的一次戰(zhàn)役。公元311年，洛陽陷落，312年春，匈奴漢國的大軍兵圍晉陽，"為胡騎所圍數(shù)重，城中窘迫無計(jì)，"劉琨月夜登城，面對(duì)數(shù)萬匈奴騎兵發(fā)出一聲長長的清嘯，劃破清冷月光籠罩下的原野，"賊聞之，皆凄然長嘆，"劉琨中夜奏起胡笳，"賊又流涕?#91;欷，有懷土之切。 向曉復(fù)吹之，賊并棄圍而走。"劉琨成功的運(yùn)用心理戰(zhàn)，利用匈奴騎兵思鄉(xiāng)之情，奏胡笳以動(dòng)之。使匈奴人心離散，軍心動(dòng)搖，又不知城中的虛實(shí)，撤軍而走，晉陽之圍遂解。這其中有一半劉琨的功勞，也有一半拓跋部的功勞，匈奴人退走，實(shí)際上是害怕圍城日久，拓跋部來救援晉陽。

危難一過，他的老毛病又犯了，聽信善音律懂藝術(shù)的徐潤的讒言，殺掉生性亢直的奮威護(hù)軍令狐盛。在群雄爭霸戰(zhàn)亂紛飛的年代，千軍易得一將難求，劉琨寵藝人殺豪杰大失人心。連他母親也看出來了，勸他不要?dú)ⅲ?你沒本事，駕馭不了豪杰，只會(huì)把比你強(qiáng)的人除掉來保平安如何了得，這樣下去，連我都要跟你遭殃。"劉琨不聽，果不其然，令狐盛的兒子見老爹遇害，一怒之下投奔匈奴漢國，并把晉陽的虛實(shí)一一匯報(bào)給漢主劉聰，說雁門關(guān)的烏桓人謀反，劉琨去平叛，城中空虛，城里還有許多不滿劉琨的人。劉聰大喜，派兒子劉粲和令狐泥一道攻打晉陽。劉琨真的率精兵去雁門關(guān)，留守的太原太守高喬舉城投降，匈奴人不費(fèi)一兵一卒占領(lǐng)晉陽，劉琨的父母均被殺害。

劉琨應(yīng)該悔出腸子來，沒辦法跑到拓跋部哭訴，猗盧很夠義氣，聞聽大怒，起傾國之兵為劉琨報(bào)仇。二十多萬鮮卑騎兵殺向晉陽，劉粲為拓跋部氣勢所攝，焚燒輜重突圍遁走，拓跋騎兵隨后追擊，大敗匈奴，連斬?cái)?shù)將，匈奴兵伏尸數(shù)百里。游牧民族喜歡打仗之暇進(jìn)行捕獵來補(bǔ)充軍糧， 猗盧大獵壽陽山，陳閱皮肉，山為之赤，可見拓跋人的氣勢。劉琨自營門步入拜謝，固請(qǐng)進(jìn)軍，他意氣用事，猗盧可不糊涂，對(duì)他說："我沒有早來，讓你父母遭到殺害，實(shí)在是有愧?，F(xiàn)在并州已經(jīng)光復(fù)，我們遠(yuǎn)道而來，士馬疲弊，不能再繼續(xù)前進(jìn)了，劉聰不是一仗就可以消滅的。"猗盧知道劉琨不是什么將才，送給他一千多匹馬，牛羊各一千多頭和一百輛車后回師，把部將箕澹、段繁等留下來幫助戍守晉陽。

猗盧對(duì)他這個(gè)把兄弟仁盡義至，劉琨也對(duì)得起猗盧，先后上表晉廷封猗盧為大單于、代公，并割讓陘嶺（今山西省代縣西北句注山）以北的馬邑、陰館、樓煩、繁疇、崞五縣給拓跋部（其地東接代郡，西連西河、朔方，方數(shù)百里）。晉陽之戰(zhàn)后，劉琨更是上表朝廷再為猗盧請(qǐng)功，長安的晉愍帝小朝廷封猗盧為代王，猗盧正式受封稱王，拓跋代國的雛形由之形成，兩人之間的關(guān)系達(dá)到最頂峰，二人秣馬厲兵，準(zhǔn)備聯(lián)合進(jìn)攻匈奴漢國。他們策劃率十萬騎兵西進(jìn)，派人聯(lián)絡(luò)晉廷，讓晉軍從蒲坂東渡，東西夾擊，欲在匈奴漢國都城平陽（在今山西省臨汾市）會(huì)師。

公元313年對(duì)于大晉國來說是軍事形勢最好的一年。雖然在這一年晉懷帝司馬熾被劉聰毒死于平陽，恰恰說明此時(shí)匈奴漢國的心虛。311年司馬熾被俘，劉聰封他為光祿大夫，第二年又改封會(huì)稽郡公，儀同三司，并將自己寵信的小劉貴人賜給他，以示自己寬大的胸懷。然而隨著匈奴漢國軍事上的失利，司馬熾的好日子為時(shí)不多了。

漢國的領(lǐng)土僅僅局限于今天的山西南部，太岳山麓兩側(cè)，漢國的兩員大將劉曜和石勒各自率兵在關(guān)中（今陜西）和趙魏地區(qū)（今河南北部和河北南部）作戰(zhàn)。晉朝在關(guān)中地區(qū)的軍隊(duì)經(jīng)過大小數(shù)百次戰(zhàn)斗，屢敗劉曜的匈奴軍。江淮地區(qū)的司馬睿將石勒趕過黃河，幽州刺史王浚派出鮮卑段部的軍隊(duì)攻打石勒，石勒的處境非常的窘迫。匈奴的主力又在晉陽遭受失敗，形勢一片大好，所以劉琨提出消滅匈奴漢國的建議，得到了長安諸將的強(qiáng)烈支持，他們擁立晉武帝司馬炎的孫子年僅十四歲的司馬鄴為首領(lǐng)，意圖迎回晉懷帝。