刘邦虽功成,然西汉初年疆土大减:北方匈奴在冒顿单于统治下,东吞东胡,西占黄河以西,驱逐月氏乌孙,使得西域多国尽为其臣。南下不仅恢复“河南地”,更曾至今陕、山之北。公元前二世纪,汉高祖亲征,被冒顿围困白登七日,只因厚礼得脱。汉缺对付匈奴之力,便采和亲策,将皇女或选民女嫁单于。但匈奴未止侵扰,其部族驻地距长安仅700里,可轻骑一夜抵达。
闽中原越人君长秦末复立,更助汉起兵,无诸被立闽越王,在今福建闽江流域建立都东冶。惠帝三年封勾践后人摇为东海王,以浙江温州为国都,则又称东瓯王,这两个政权表面归顺实则自主。朝廷内外受敌无暇旁顾,只能姑息容忍。
岭南赵佗先秦龙川令后代理南海尉,因秦亡起兵并吞三郡自立南越王。大约公元前一八一年前后灭安阳扩至今越北中直到巴江线。在高祖十一年派陆贾使南越封赵佗王,但依旧独立自持。在西南随秦解体云贵行政撤至四川盆地,初期未恢复。