東晉自偏安以來，時時面臨著北方的威脅。祖逖、庾亮、殷浩、桓溫都曾先后北伐，但無一成功。為了國家的強大，劉裕決定興師北上。

義熙五年(409)，南燕主慕容德死，其侄慕容超襲位，縱兵肆虐淮北，擄去晉兩郡太守，驅掠百姓千余家。劉裕因此上表北伐。三月，他統領晉軍向北挺進。

南燕大將公孫五樓見晉師威猛，向慕容超建議扼據大峴(今山東沂縣)，堅壁清野，但被拒絕。劉?？礈蕰r機，冒險越過大峴山隘，一舉攻克臨胊(今山東掖縣)，奪得大量輜重。接著，晉軍將士在劉裕的親自鼓動下迅速進擊，直逼燕都廣固(今山東益都)。慕容超遁入城中堅守不出。雙方進入相持階段。晉軍一方面高壘重塹，將廣固團團圍住，以燕人之糧充實軍用;一方面招降納降，采取分化瓦解之策。南燕大將桓遵兄弟及徐州刺史段宏相繼歸附，尤其是尚書郎張綱被俘，對劉裕十分有利，最后正是利用他所設計的攻城器械拿下燕都，活捉了慕容超。劉裕以廣固久守不降為由，入城后，盡殺王公以下三千人以泄憤。

齊境克服，劉裕本想停鎮下邳，蕩凊河洛，但孫恩妹夫盧循復集孫恩殘部，敗晉軍于豫章(今江西南昌)。劉裕不得不班師回朝。回京后，先后督師鎮壓盧循、剿滅割據長江中上游的劉毅、譙縱勢力，逼走司馬休之，使南方出現了百年來從未有過的一統局面。

義熙十二年(公元416)一月，后秦主姚興死，姚泓繼位，內部叛亂迭起，政權不穩。劉裕認為這是滅亡后秦的良機。時劉裕圖以晉室名聲安撫北方人民，故想奉司馬德文之名北伐，司馬德文因而上書出兵，以修謁晉室山陵，最終劉裕就與司馬德文一同率兵出發。八月，劉裕以劉穆之任尚書左仆射，內總朝政，外供軍糧，自己率大軍分四路北伐。九月，劉裕扺達彭城。龍驤將軍王鎮惡、冠軍將軍檀道濟領兵由淮、淝轉向許、洛，后秦諸屯守皆望風降附，晉軍進展神速。十月，王鎮惡軍占領洛陽。

次年正月，劉裕留其子劉義隆鎮守彭城，自率大軍北上。此時北魏派十萬重兵駐守河北，并以游騎騷擾晉軍。劉裕在行軍中，雖常設奇陣或用大弩強槊擊敗魏軍，但進軍速度緩慢。王鎮惡軍由洛陽進抵潼關后，為秦主力守險以阻，檀道濟軍的糧道也為秦將姚紹截斷。晉軍一時處于危境。王、檀向劉裕求援，而劉裕卻為北魏軍牽制，自顧不暇。幸得當地百姓的幫助，潼關晉軍才轉危為安。七月，劉裕擺脫魏軍，進至陜城;前鋒沈田子攻入武關，進屯青泥(今陜西藍田)。八月，劉裕至潼關，與諸部會合。

秦主姚泓為緩解兩面受敵的危局，謀劃先消滅沈田子軍，再抵御劉裕，于是率步騎數萬急趨青泥。沈田子軍本為疑軍，不過千余人，但各自為戰，驍勇異常，數次出擊竟使姚泓敗還長安。此時，王鎮惡突破潼關防線，率師直進，一舉攻陷長安城，姚泓率群臣投降。