建武元年十月也就是25年，劉秀稱帝建立了東漢。但這個時候的東漢和當年趙匡胤建立的北宋差不多，地盤並不大，只控制了洛陽以北的部分地區，四周被各種武裝勢力包圍著，所以也開啟了一統天下的戰爭。
其實當時對於東漢來說，還是非常危險的。東有青州的張步，東海的董憲，睢陽的劉永，滬江的李憲；南有南陽的秦豐，夷陵的田戎；西有成都的公孫述，天水的隗囂，河西的竇融，九原的盧芳；北面的彭寵也在後來被朱浮逼反。此外，延續了十幾年的赤眉農民起義還沒有消失，還有一部分力量存在。
劉秀採取了“先關東，後隴蜀”，並針對割據勢力眾多而分散的特點，採取由近及遠、各個擊破的戰略方針。
建武二年，劉秀命大將蓋延率軍五萬進擊直接威脅洛陽的劉永集團。蓋延兵分兩路夾擊進圍劉永於睢陽，劉永狼狽逃竄，漢軍乘勝追擊，佔領了大部分地盤。第二年，劉秀命大司馬吳漢及蓋延再擊劉永，全殲劉永餘部於垂惠，從而消滅了關東地區的最大割據勢力。
在消滅劉永的同時，青州的張步歸屬了劉永，劉永死後，建威大將軍耿弇討伐張步，結果大勝，張步敗走劇縣，求救於盟友蘇茂。不過兩人是貌合心不和，結果劉秀派出使者找到兩位，告訴他們，誰要殺了對方投降，就封誰為列侯，這兩人一看，開始互相刀兵相向，張步殺了蘇茂，獻首級而降。
建武三年（27年）六月，劉秀親征東海郡董憲，全殲董憲主力。建武四年（28年）秋，光武帝劉秀親征壽春，派遣揚武將軍馬成討伐李憲，圍城戰進行了一年多，舒城陷落。
在關東統一之戰的同時，劉秀也展開了鎮壓赤眉農民起義軍的行動。經過漢軍不斷打擊，赤眉軍首領樊崇投降。
建武六年（30年）四月，劉秀正式發動伐隴之役。主要目標就是天水的隗囂，面對大軍壓境，隗囂向蜀地的公孫述稱臣搬來了救兵，不過還是被劉秀全殲，歷時四年的平隴作戰至此結束。
平隴之戰後，劉秀即從南、北兩個方向開始了滅蜀之戰，蜀軍大敗，公孫述重傷而死。延岑見大勢已去，率成都守軍降。至此，劉秀完成了東漢王朝的統一。