灭敌人，双方展开了激烈的拉锯战。
29日凌晨，孙连仲召集军、师、旅长及炮兵团长会议，重申固守台儿庄之志。并指出：当面之敌似在待援中，我以钳形攻势当可聚歼之；第三十一师仍须独自为战，以利外线组织战斗。
战斗延续到4月3日，日军攻占了台儿庄的东南门，侵入城寨内百米，同时掷催泪瓦斯弹。台儿庄三分之二的地方为日军占领，中国守军死伤十之七八。孙连仲的部队据守南关一隅，死拚不退。
这时，李宗仁来电话，严令第二集团军守至次日拂晓，等待汤恩伯军团前来增援。孙连仲大义凛然地说：“长官有此决心，我第二集团军牺牲殆尽不足惜，连仲亦以一死报国家。”于是集合可用之兵，包括炊事兵、担架兵都一并参加，组成一个敢死队，于午夜袭击敌人。
这时，池峰城来电话请示可否撤退至运河南岸，孙连仲命令说：“士兵打完了，你自己填上去。你填过了，我就来填进去。有谁敢过河者，杀无赦！”池部乃以必死之决心，逐屋抵抗至4日黄昏，将敌增援部队击退。
4月6日，中国军队完成了合围任务后，全线出击。日军矶谷、板垣两师团阵脚大乱，狼奔豕突，渐向北撤去。孙连仲部与友军内外夹击，横扫残敌。
台儿庄战役以中国军队的全胜而结束，史称台儿庄大捷。此役中，孙部武器虽劣，但官兵勇于作战、不怕牺牲的精神弥补了这一点。近战时大刀发挥了很大威力。孙部官兵还用十二枚一捆的束集手榴弹炸毁敌军坦克。
台儿庄战役结束后，孙连仲的部队伤亡严重，但仍在运河东岸参加了掩护徐州国民党军大部队撤退的军事行动。后来日军沿津浦线攻下了徐州，孙连仲部的后路被切断，蒋介石特由汉口派了一架专机把他接回去，他的队伍也由徐州以南越过津浦铁路，开到信阳一带集结整理。
日军占领徐州和津浦线前段、陇海线东段地区后，又以武汉为目标大举进犯。中国军队布置在鄂皖和鄂豫边界的高山地带，奉令进行保卫大武汉的作战。1938夏，孙连仲部开到湖北麻城至河南潢川之间的小界岭、两路口一带参加战斗，仍归第五战区司令长官李宗仁指挥。
孙部在这里凭借有利地形，节节阻止日军的进攻，支撑了一个相当长的时间。到了9～10月间，保卫大武汉的战线逐渐瓦解，武汉终于沦陷，孙连仲部退到南阳一带集结。
在撤退途中，第四十二军军长冯安邦被日军飞机炸死。到南阳后，孙撤销了第四十二军的番号，调第