在张飞率部回撤后不久，张杨部随即为曹操中军所击溃。而后方司马防的河内军正在轮换，尚未来得及填补战线，结果上党军被冲散之后，阵线顿时大坏，在中部形成了浩大的溃军，汉军队伍全然不复行列，连同皇甫郦部、司马防部也裹挟一起，一并向南溃退。
刘备不料局势瞬间败坏，心中极为担忧，就问护卫中军的徐州刺史张羡说：“如今尚能战否？”
张羡也知道形势紧急，对刘备说：“事急矣！我军若是现在往南撤退，恐怕全军都将不复阵列，我等也要葬身此地了！明公，我愿率众北拒，以重刑明律，贼军也疲乏，今日击退过去，就是黄昏，他们也要收兵，那我军明日还能整军再战！”
刘备深以为然，将麾下五千晋阳军调三千给张羡，并将中兴剑赐予张羡说：“我之生死，今日都仰仗将军了！”
此时天色已然向晚，暮色朦胧，张羡自知此行定然是九死一生，就向刘备讨了一碗酒，一饮而尽。谏议从事朱皓唱《大风歌》为之壮行，张羡随即领翻身上马，高呼一声“壮哉”，便领众向北驰去。
北面的豫州军刚好迎面撞上来，张羡便令部众将随身带的木头都插在地上，设置一道简易的拒马，并派令兵上前，齐声对前来的溃兵们说：“不要退！退不能活命，往北还能反败为胜。”
那些溃兵们熙熙攘攘地挤在拒马前，声音高高低低地混在一起，对张羡道：“算了吧，关将军都败了，还能有什么转机，往南跑，我们这么多人，他们哪里杀得完？”
张羡闻言大怒，当场就令手下兵卒射杀前面的这些溃兵，自语道：“你们若想自寻死路，那就去投水吧。”如此一来，溃兵只能改向东西两面溃逃，而张羡则收拢了少许残兵，正要做再战之势。而尾随而来的曹军看到汉军竟还能反击，也都露出踟蹰之色。
孰料这时候，在南面的汉军大部发生了一件事，彻底改变了整个战局。
建平将军董承得知汉军前线不利，左翼又遭到曹军横击，知道汉军已经到了极为危险的局面。他心中却大喜过望，心想：我如今率众在最后处，刘备左右支拙，定然无力再制衡我，此时不走，更待何时？
于是他便对部下下令说：“贼军势强，我军已败，此时正当全军返函谷，以图来年再战。”命令一下，董承部众齐呼“我军败了”，随即率众脱离大队，往西南奔去。
董承这一退，周遭的汉军不明所以，只能见到傍晚时分，有一大部士卒仓皇撤走。他们俱皆惊惶，相互言语道：