把姐姐嫁给卫青后，汉武帝刘彻内心更加不安了。

刘彻是一个雄才大略的皇帝。一般雄才大略的人，权力欲就强，疑心也重。刘彻继位后对威胁自身权威的人和事情很敏感。他创办了内朝，开始把权力集中到宫廷，就是对朝堂衮衮诸公的不信任。卫青一家的势力遍布朝野、手握兵权，自然也受到了刘彻的猜忌。之前，卫青采纳甯乘的低姿态，让刘彻多少放心了一点。这也是刘彻同意姐姐改嫁卫青的原因之一。姐姐嫁入卫家后，卫青的权势熏天了，仿佛是“天下第二人”了，刘彻的猜忌心理重新泛起，开始不信任卫家了。他想，即使卫青没有不臣谋逆的心理，也保不齐被野心家利用啊！

刘彻开始疏远卫青，主要采取了两种方法：第一是让卫青离开前线军队，招到长安来居住议政，等于是将卫青高高挂起；第二是重用霍去病，让霍去病牵制卫青。这第二招很毒辣，等于是分化卫青家人，“拉拢一派，打击一派”。霍去病虽然是卫青的外甥，毕竟不姓卫，和卫家人的关系不那么密切。刘彻更看中的是霍去病的头脑相对简单。

霍去病“为人少言不泄，有气敢往”，只知道行军作战，消灭匈奴，在政治上很幼稚。刘彻曾经劝霍去病学点吴起、孙子的兵法，霍去病回答说行军打仗不拘泥于古代兵法，学那些玩意儿没用。刘彻发自内心地，同时也是有目的地，更加宠爱霍去病这个青年俊才了，着意培养，委以军事重用。一次，刘彻御驾亲临霍去病的府邸，见到霍家凌乱，就让霍去病多留心点家里。霍去病慷慨回答：“匈奴不灭，无以家为也。”这句话迅速传开，成为千古名言。霍去病的声望随之节节攀升。

而对于卫青来说，甯乘提醒的“物极必反”的危险终于到来了。

汉朝和匈奴的战争在继续，但卫青失去了对前线部队的直接指挥权，主要是发挥着名义主帅的作用。相反，霍去病上场表现的机会更多了。

元狩二年（前121）春天，霍去病升任骠骑将军，率一万骑兵出陇西，飞奔上千里，歼敌近万人。霍去病因功被加封两千户食邑。同年夏，汉武帝命令霍去病与公孙敖兵分两路攻打匈奴。霍去病率军深入，越过居延泽，到达祁连山，一举斩杀三万多匈奴人，捕获匈奴王族和大臣、贵族上百人。这场大败摧毁了匈奴人的自信心。他们悲伤地唱道：“亡我祁连山，使我六畜不蕃息；失我焉支山，使我妇女无颜色。”相反，刘彻非常高兴，又给霍去病增加了五千户食邑。

当年秋天，匈奴内讧，引出了一桩突发事件。匈