此时,匈奴已经到了“事汉则安存,不事则危亡”(《汉书·匈奴传》)的地步,呼韩邪单于遂于汉宣帝甘露三年(前51年)第一次入朝觐见宣帝,宣帝赐以厚礼。转年,呼韩邪单于第二次入朝觐见。两年两次觐见,其频繁的程度可见一斑。
呼韩邪单于入朝觐见,在表示臣服的同时,也和汉朝商定了对付郅支单于的策略。郅支单于自感无力对付汉朝和呼韩邪单于的联盟,遂转往今伊犁河流域一带发展。
汉元帝建昭三年(前36年),西域都护甘延寿和副校尉陈汤“矫制”(伪造命令)出兵,在康居诛斩郅支单于,在给朝廷的上疏中,二人喊出了既空前更绝后的划时代最强音:“犯强汉者,虽远必诛!”这句著名的豪言壮语,显示着汉朝的国力已达顶峰,连匈奴—这侵害中原二百余年的劲敌都告臣服。呼韩邪单于遂统治了匈奴全境。然后,《汉书·匈奴传》生动地记载了呼韩邪单于此时的心情:
郅支既诛,呼韩邪单于且喜且惧,上书言曰:“常愿谒见天子,诚以郅支在西方,恐其与乌孙俱来击臣,以故未得至汉。今郅支已伏诛,愿入朝见。”
呼韩邪单于喜的是郅支单于已被诛杀,整个匈奴终于都归自己统辖了;惧的是汉朝国力如此强盛,哪一天自己难免不会重蹈郅支单于的覆辙。