刘备不料局势瞬间败坏，心中极为担忧，就问护卫中军的徐州刺史张羡说：“如今尚能战否？”
张羡也知道形势紧急，对刘备说：“事急矣！我军若是现在往南撤退，恐怕全军都将不复阵列，我等也要葬身此地了！明公，我愿率众北拒，以重刑明律，贼军也疲乏，今日击退过去，就是黄昏，他们也要收兵，那我军明日还能整军再战！”
刘备深以为然，将麾下五千晋阳军调三千给张羡，并将中兴剑赐予张羡说：“我之生死，今日都仰仗将军了！”
此时天色已然向晚，暮色朦胧，张羡自知此行定然是九死一生，就向刘备讨了一碗酒，一饮而尽。谏议从事朱皓唱《大风歌》为之壮行，张羡随即领翻身上马，高呼一声“壮哉”，便领众向北驰去。
北面的豫州军刚好迎面撞上来，张羡便令部众将随身带的木头都插在地上，设置一道简易的拒马，并派令兵上前，齐声对前来的溃兵们说：“不要退！退不能活命，往北还能反败为胜。”
那些溃兵们熙熙攘攘地挤在拒马前，声音高高低低地混在一起，对张羡道：“算了吧，关将军都败了，还能有什么转机，往南跑，我们这么多人，他们哪里杀得完？”
张羡闻言大怒，当场就令手下兵卒射杀前面的这些溃兵，自语道：“你们若想自寻死路，那就去投水吧。”如此一来，溃兵只能改向东西两面溃逃，而张羡则收拢了少许残兵，正要做再战之势。而尾随而来的曹军看到汉军竟还能反击，也都露出踟蹰之色。
孰料这时候，在南面的汉军大部发生了一件事，彻底改变了整个战局。
建平将军董承得知汉军前线不利，左翼又遭到曹军横击，知道汉军已经到了极为危险的局面。他心中却大喜过望，心想：我如今率众在最后处，刘备左右支拙，定然无力再制衡我，此时不走，更待何时？
于是他便对部下下令说：“贼军势强，我军已败，此时正当全军返函谷，以图来年再战。”命令一下，董承部众齐呼“我军败了”，随即率众脱离大队，往西南奔去。
董承这一退，周遭的汉军不明所以，只能见到傍晚时分，有一大部士卒仓皇撤走。他们俱皆惊惶，相互言语道：“莫非贼子在后路也有埋伏？”谣言越传越广，陈王刘宠与冀州刺史袁谭闻言，也随即脱战而走，继而引起了整个后军的不战自溃。
而此时刘备见张羡挡住曹军，心中稍稍安慰，又不禁担忧关羽，心想他如今安危如何？一时间惆怅而不能饮水。他正要派朱皓去看看徐庶所部的战况，结果军师从事皇甫坚寿跌跌撞撞地跑了回来，一副惊慌失措的样子，手脚颤动，他说：“明公！大事去了，后军都溃散跑了，各部都乱了！”
“什么！”刘备大惊失色，半晌才怒道：“自晋阳建府，收集东西兵卒，我皆以国士之礼相待，俸禄兵粮，从不敢稍有拖宕。如今竟然临阵弃我而逃！”
说罢，刘备斫刀而起，欲亲自去看。此时，法正、朱皓、孟达、还有荀攸、韦康都涌过来。法正说：“败局已定，众难复用，请明公赶快退回东都，令陈公张邈等人守河南，迟则一战而丧天下！”
说罢，他当即拥刘备上马，刘备尚还犹豫，据鞍不动，对众人说：“可翼德、云长、元直、镇东等部该当如何？”
荀攸说道：“只能让镇东先行殿后，我等稍整军势，随后跟上！”而法正则已然急了，伸手在嘴里吹出尖锐刺耳的呼哨，抽鞭猛打乘马，留影马当即腾空疾驰而去。沿途汉军步卒抛矟弃甲，举火而逃，四周野外火光连绵不绝，壮观无比。刘备与亲随飞驰而过，见此情形，不禁涕泪长叹：“本欲举火归故乡，不想竟狼狈西归，我该如何去面见庭坚呢？”
刘备如此率中军撤离，便是彻底让张羡与徐庶所部陷入了绝境。
张羡见主帅已然撤离，不明所以，但仍然誓死抵抗，可部众的战意却低沮至极，曹骑们越过马拒，杀入徐州军中时，可谓所向披靡，很快就将汉卒切割成数部，张羡也深陷重围之中。
因张羡腰挂漆金的御赐中兴剑，曹军都知晓他是汉军高官，于是有二十余人来围着他攒刺。马很快被刺死，张羡也只能下马步战，又激战数个汇合，一个曹兵戳中了张羡，沿着铁甲与裙摆的间隙划破了一条大口子，随着长戟往外抽出，里面的肠子都跟着流了出来。
而另一边，徐庶仍在督战，西面的败势他已止住，正面虽呈梯式节节后退，但曹仁到底兵少，即使率部数次冲锋，也已精疲力竭，实在冲不动了。故而徐庶在两面实行包夹和齐射，到底用兵力的优势将曹仁打了回去。
但这于大局形势无补。
刘备后撤的消息很快也传到徐庶耳中，他闻罢，面色如常，只是派使者对来援的张飞说道：“今日之败，是我谋划不周的过错，想要反败为胜，已是不可得了，当务之急，当是全军而退，君侯带的多是骑兵，乃是我军中精锐，不可轻弃，我麾下多是步卒，欲逃也难得，所以君侯当先西归，我自率部殿后。”
张飞得知消息后，回说一句“珍重”，也不再留恋战场，率部自东南撤走。
徐庶便携众且战且退，将随军带来的箭矢全部射出去。曹仁不知缘故，还道眼前的汉军要率众搏命了，于是便停止冲击，与汉军保持两箭程的距离，一面与曹操汇合，一面观察徐庶的破绽。
此时天色已完全昏黑，曹军在远方屠戮着未来得及逃掉的汉卒，而汉军诸将都聚集在一起，做最后的军议。徐庶对身边的拓跋匹孤、拓跋力微、黄忠、射坚诸人说：“此时夜色已至，月光未明，大概是最后逃亡的机会了。你们趁贼军未及反应，挑选些精锐，都去追明公吧！”
众人吃了一惊，都劝阻道：“徐君乃是霸府智囊，我等俱死，也不当令徐君有损，徐君当先行才是！”
徐庶却摇首说：“三军因我在，才不致溃退，我若先逃，你们能挡贼军吗？”众人皆哑然。
随后徐庶又劝慰说：“老师还在长安，只要有他在，府中哪里会缺智囊？你们才是军中的栋梁，勿要多说了，快去吧，来日还多得是你们厮杀的时候，你们早走，我也能伺机逃脱，你们再犹豫，就都死在此处了！”
众人皆知其苦心，不禁流泪拜谢，当晚就点出三千精兵，趁着昏暗的夜色悄声离去了。
此时的徐庶所部多已受创，能战的大约只有八千余人。故而徐庶将这八千能战之士聚集一处，其余伤员都放他们歇息，叮嘱说：“若贼军来，可奉兵降之。”而后他亲自巡视属下，问他们道：“我今与诸位同死，可有遗恨？”汉军皆高声答说：“与徐从事同死，不恨！”徐庶闻言大笑。
曹军等了两个时辰，见徐庶所部一直驻在此地，既不后撤，也不投降，终于决定于夜中进行终战。曹军骑士们没有妄发异动，而是举着火包抄汉军两翼，将其尽数合围后，才派人问道：“你们是何人所领？何不归降我军？河内的司马公、徐州的昌将军，还有你们河南关老虎，都向我军投诚了。若能弃暗投明，元帅未尝不能放尔等一条性命！”
徐庶闻言，便从军阵中站出来，对曹军使者说：“都是战场上跑马厮杀的汉子，何必蛊惑人心？今日之败，罪全在我，我甘愿一死，但要辱我节操，我绝不罢休！”
投降的司马防听那声音，对曹操说：“是霸府的智囊，徐长史啊！明公若得他相助，大业易兴耳！”
曹操捂着受伤的肩膀，对司马防哈哈笑道：“司马公真是惜才之人啊！”他随即又叹息道，“可惜，徐元直的才能我自然也见过，但他是义士，终究不能为我所用，便还是成全他罢。”
说罢，他传令击鼓，在月色之下，曹军向汉军射出暴雨般的箭矢，在将大部分人射倒在地后，骑士们再上前冲杀砍刺。一直等到第二天天明，曹军在尸山中辨认汉军的首级，一名曹兵发现徐庶被尸体压倒在血泊中，手脚受了数箭，胸口还有些许若有若无的起伏。
但曹兵没有救命的意思，他贪图徐庶手中的云龙玉抉，趁左右无人注意，先割掉了徐庶的头颅，再夺下这玉抉揣进衣裳内，继而向上级领功去了。