忽必烈生前深心倾注于两位人才卓著的子嗣——嫡长子甘麻剌和嫡三子铁穆耳。两人各具绝技，令忽必烈难以迅速决断继承人之选，他并未在世时明确指定皇位继承者，但朝廷中的诸多宗王贵戚与臣工都能感受到他的意图，即从这二人的中途选择一位作为帝位继承人。汉臣们依循着中原传统，支持嫡长子甘麻剌登基，而真金的太子妃阔阔真则更偏爱年幼的铁穆耳，希望他能够成为未来之主。蒙古宗室内外意见不一，如同迷雾一般谁将当上皇帝成谜。在最终时刻，阔阔真的提议让兄弟二人进行公开诵读祖训比赛，以胜者定夺天下。当事母知晓儿子的才华与弱点，她自然知道哪个儿子更适合担此重任，因此患有口吃的甘麻剌败出，而铁穆耳在1294年成功登基，被尊为元成宗。
在忽必烈治下，其汗国境内存在分裂迹象，不少领袖如海都汗和笃哇汗拒绝认可忽必烈对蒙古大汗的地位，这导致了帝国四分五裂。在此期间，他们联手挑起西北地区频繁动乱。面对这一局势，忽必烈派遣大军讨伐，却无法彻底平息其暴动。此后，在元成宗即位后，他停止了对外扩张，并致力于解决国内问题，将注意力转向打击内部反叛。他派侄儿海山率军，最终成功击败了海都和笃哇，以及他们的继承人，使得钦察汗国也归顺于元朝。
随着时间推移，伊尔汗国自始至终保持与元朝的一致态度，而钦察汗国因其距离较远，更倾向于“随波逐流”。因此，一旦再次团结起来，就再无异议，都愿意接受元成吉思汗的大汉族主义统治，从而实现了蒙古帝国名义上的重新统一。
然而，由于少年时期过度酗酒所造成的心理影响，即便他努力克服这种恶习，也无法挽回身体状况受损。他不到40岁，便开始不断遭遇疾病，最终导致政务几乎完全交由皇后卜鲁罕处理。而卜鲁罕与色目官僚之间勾结排斥汉族官员的情形日益严重，加剧了朝堂混乱。此后的1307年，在北京的大都玉德殿里，铁穆耳·本·窝阔台（即元成宗）寿终正寝，只活到42岁。
