趙信兵敗降胡，單于因其在漢年久，熟知中國情形，甚加寵任，封之爲自次王，以其姐嫁之，又築城使之居住。趙信便教單于度過沙漠遷居北方，勿近邊塞引誘漢兵深入，乘其疲睏擊之，必能取勝。單于聽從其計，便將人畜悉數移至漠北居住。武帝聞單于移居之計，便召衛青、霍去病等議道：“趙信爲單于設計北遷，以爲我兵不能遠度沙漠。我今大發士卒多備糧食，剿滅匈奴在此一舉。”元狩四年春，武帝乃命大將軍衛青、驃騎將軍霍去病，各率馬兵五萬、步兵數十萬、公私之馬十四萬匹，分道前進。武帝見霍去病膽略過於衛青，便選取敢戰深入之兵給霍去病，命霍去病兵出代郡，衛青兵出定襄，約期度過沙漠共擊匈奴。二將所領人馬數目相同，惟霍去病部下卻無裨將，遂用李廣之子李敢等爲大校，以當裨將。李廣見武帝大舉伐胡，卻不命其爲將，心中不悅，遂自向武帝請行。武帝道：“將軍年紀已老，不可再臨戰陣。”李廣一再固請，武帝沉吟良久方纔應允，遂拜李廣爲前將軍，與左將軍公孫賀、右將軍趙食其、後將軍曹襄俱屬於大將軍衛青。衛青與霍去病領命，帶同將士擇定吉期出發。
衛青兵由定襄出塞，於路捕獲胡人問明單于所在，自率大軍兼程前進。卻命李廣與趙食其合兵取道東行，約期會合。
李廣心想，東行路勢彎曲多需時日，且沿途水草甚少，不能供給大隊人馬，且須分作數隊緩緩而行，此明是大將軍不欲我立大功，所以使我行此遠路，於是對衛青說：“臣所部系前將軍，當爲先鋒擊敵。今大將軍乃調臣使出東路，不知何意？且臣束髮從戎即與匈奴交戰，直至今日，臣願率領所部效死前敵。”衛青聞言不允其請。李廣便固辭不願東行，衛青見李廣違令，乃用強制手段命其遵令。李廣心中憤怒，也不向衛青告辭，奮然走出，回到自己軍營，會合趙食其領兵就道。
說起衛青與李廣，平日並無仇怨，此次爲何不令其爲前部呢？只因臨行之際武帝曾密囑道：“李廣年老命蹇。毋使獨當單于，恐被單于逃走，不得成擒。”衛青既受武帝密囑，自己又與公孫敖至好，公孫敖因前次出師誤了軍期，失去侯爵，現在軍中爲校尉，衛青意欲提拔他立功復爵，故調開李廣，以公孫敖代爲前部。李廣不知武帝有此言語，只知衛青欲將公孫敖代己立功，因此憤憤不平。衛青打發李廣去了，自己便催兵北進，行千餘里度過沙漠。
單于探得漢兵來攻，卻也驚慌，即忙準備迎敵。趙信獻計道：“漢兵度漠遠來人馬疲乏，我可坐待其至信手擒來。”單于便將輜重送往北方，自率精兵駐紮漠北，遠見漢兵到來，列陣以待。衛青防備胡騎馳突，下令用武剛車環繞爲營。武剛車乃是一種兵車，車箱四圍皆有板壁，上安小窗以備瞭望，旁開箭眼，四圍環列刀槍，敵騎不得衝突，弩箭不能貫穿，算是當日行軍利器。衛青立定營盤，先遣馬隊五千前往挑戰，匈奴亦遣萬騎迎敵。兩陣對圓正待交戰，此時日已將沒大風忽起，吹得塵沙滾滾撲人面目，兩軍對面不能相見。衛青復遣騎兵數萬分爲左右翼前進，包圍匈奴。兩下交戰良久，天色已晚，單于見漢兵甚多士馬精強，趁着薄暮乘坐六騾，率領勁騎數百突圍而去。漢兵不知，仍與胡兵力戰至夜，彼此暗中相持，殺傷大略相等。
衛青行至沙漠之南，方與李廣、趙食其軍隊相遇。原來李廣、趙食其由東路進兵，路徑不熟，半途迷惑失道，以致遲誤日期，此時方到。李廣見過衛青，回到自己軍中。衛青遣長史持了酒醪乾飯贈與李廣，問二將失道原因，並說要上書天子具報此種情形。李廣明知衛青有意爲難，未即對答。長史見李廣不答，便到李廣幕府內責備軍吏，催其即作報告。李廣聞知愈怒，便對長史道：“諸校尉無罪，乃我失道無狀，我當自行上簿便了！”說完即趨至幕府流涕對將士道：“廣自結髮從戎，與匈奴大小七十餘戰，有進無退，今從大將軍出征匈奴，大將軍令廣東行，迂迴失道豈非天命！我今已六十多歲，死不爲夭，怎能再對刀筆吏乞憐求生？”說罷便拔出佩刀自刎而死。一班將士出其不意搶救無及，便即爲廣舉哀。後人有詩嘆道：
老不封侯命可知，
年衰何必再驅馳？
漠南一死終無益，
翻使千秋得指疵。
卻說驃騎將軍霍去病，率領大軍由代郡出塞，行二千餘里，正遇匈奴左賢王率衆三十餘萬前來迎敵。霍去病揮兵進擊，連戰數次，漢兵大勝，擒獲匈奴屬王三人，官吏八十三人，捕斬敵首七萬餘級，左賢王率領敗殘兵士逃去。去病奏凱而回。武帝大喜，下詔褒揚霍去病戰功，益封五千八百戶，部下諸將皆得封賞。李敢受封關內侯，食邑二百戶。此時衛青亦率諸將回京，武帝因其不能追獲單于，且所斬敵首不過萬餘級，與霍去病相去甚遠，故衛青不得加封，連部下將士也無封賞。趙食其失道當死，贖爲庶人。
是役兩軍共殺匈奴八九萬人，而將士死者亦有數萬人，公私戰馬十四萬匹，及入塞不滿三萬匹。雖然勝得匈奴，所受損失也不少，武帝見霍去病戰功高於衛青，而官位尚在其下，未免有屈，於是設置大司馬一職，下詔命大將軍衛青、驃騎將軍霍去病，皆爲大司馬。自此以後，衛青寵幸日衰，霍去病日益貴盛。衛青故人及門下賓客見此情形，多撇卻衛青來投去病。獨有任安一人不肯變節，衛青始知其賢。
李敢怨恨衛青強奪其父前部之職，迫使東行，以致冤憤自殺，便欲爲父報仇。一日李敢來與衛青相見，責問其父致死之由。衛青方欲伸辯，李敢突然奮拳擊來。衛青不及提防，身上早被擊傷，連忙走避得脫。論起衛青素有膂力，若與李敢交手，未必鬥他不過，何以竟肯退讓，其中卻有兩個原因。
一則李廣官居前部，本應使爲先鋒，卻因私受武帝之命，無故將他調開，依理而言自己究有不是；且李廣因此喪命，無怪其子懷恨，不如暫時忍受以平其氣；二則衛青待人一直寬讓，又兼位大將軍，若與部將之子爭鬥，未免失了體統。有此二因，所以衛青不但不與李敢計較，反當作並無此事，禁止家人傳說，自在家中養傷。李敢見衛青不敢出聲也就罷了。