忽必烈生前深心倾注于两位人物的培养：其嫡长子甘麻剌和嫡三子铁穆耳。两人各具特长，令忽必烈难以立即决断继承人，生前未有明确指派。但朝中宗王贵戚及臣子们都明白了他的意图，即从这两者中选择一位继承帝位。
在此决定上，汉臣倾向于遵循中原皇室的嫡长子继承制，支持甘麻剌登基，而真金太子的妃子阔阔真则偏爱年幼的铁穆耳。蒙古宗王间意见不一，一时谁将继任难以定夺。最终，由于阔阔真的拥护与提议，让兄弟双方进行公开诵读祖训比赛，以胜者为君。当事人当然清楚儿子的能力，患有口吃症的甘麻剌败北，其弟铁穆耳在1294年正式登基称帝，被尊称为元成宗。
忽必烈统治期间，他所统治下的蒙古帝国四分五裂，不受窝阔台汗国海都汗和察合台汗国笃哇汗认可。而这两个国家频繁在元朝西北地区制造动乱。面对这一局势，忽必烈发兵征讨，但对方采取游击战术逃跑，使得元军无法彻底解决问题。此后，在元成宗执政之下，他停止了对外扩张，并致力于内部管理，同时派侄海山带领大军消灭了海都、笃哇及其继承人的挑战，从而迫使他们归附到元朝。
由于伊尔汗国早已接受了元朝作为自己的主导地位，而钦察汗国又距离较远且更愿意顺从主流，因此至此四大汗国均公认 元成吉思汗合法继嗣，是名义上的蒙古帝国再次统一。
尽管少年时期的铁穆耳曾经酗酒，但他后来通过坚强意志克服了这个习惯。不过，这些年来身体已经遭受严重损害。在不到40岁的时候，因为疾病缠身，他便逐渐疏远政治事务，将主要责任委托给皇后卜鲁罕处理。她与朝中的色目官员相互勾结，对抗汉族官员，以欺瞒的手段操控政权，使得整个政府变得混乱无序。1307年，在大都（今北京）的玉德殿内，铁穆耳去世，大约活到42岁左右。这标志着一个新的时代开始，也预示着接下来的政治风云变幻。
