Тибетец из знатного рода, обучался в монастыре Карма Кагью. Юность провел в медитационных затворах. Получив приглашение Мункэ-хана прибыть к его двору, откликнулся не сразу. Когда все же прибыл в Каракорум, Мункэ-хан уже умер, и Карма-бакши стал наставником Ариг-Буги. Последовал за Ариг-Бугой в плен, когда тот сдался своему старшему брату - Хубилай-хану. Однако спустя некоторое время великий хан, впечатленный способностями Карма-бакши, убедил его стать наставником при своем дворе.