时至十七日凌晨，小鬼子全力攻击崖头、刘家湖、茶叶山阵地，经密集炮火摧毁后，日军占领了这三处阵地。张自忠急令两个旅增援，奋力抵抗，肉搏多次，终于将丢失的阵地全部夺回，小鬼子大部被歼。
同日，庞炳勋部也发动强大攻势，激战一昼夜，先后占领尤家庄、傅家屯、东西水湖崖、沙河一带，小鬼子退守李家五湖、傅家池、草坡一线。到十八日早晨，庞、张两军一齐从东、南、西三面夹击汤头、傅家池、草坡一线的敌人，经三天血战，临沂方面的敌人约三个联队被完全歼灭，残敌大部逃向莒县，一部向北撤退。
此战，张、庞两军共歼敌四千余人，其中第五十九军歼敌三千余人。小鬼子用载重汽车运回莒县的尸体达一百六十余车，在汤头、葛沟屡次焚化的尸体、来不及运回就地掩埋者达八百具。中国军队也为争取胜利付出了惨重的代价。
日寇不甘心在临沂战役中的失败，于三月二十日，复派增援部队四千余人，会同莒县、汤头的残敌，又向庞军阵地展开反攻。
二十四日，敌机到庞军阵地大施轰炸，九门敌炮昼夜不停地轰炸。由于第五十九军张自忠部伤亡太大，除留一个旅的兵力协助庞炳勋部守卫临沂外，主力已于十九日离开临沂转向费县休整，准备向泗水、滕县方面转进。
在敌人强大兵力的攻击下，庞军力战不支，被迫退至城东桃园、黄山一带防守，临沂形势又趋危急。为确保临沂，解围庞军，张自忠部于二十五日重返临沂增援，在韦家屯、桃园等地与敌寇进行激战，并东渡沂河，占领了桃园。
三月二十六日，小鬼子一千余人，在十八门大炮的掩护下，绕道转至临沂西冯义堂一带，伺机环攻取城。张自忠急派重兵在城西娘娘庙至大岭一线布防，以阻止敌人的进犯。但是攻击三官庙的张自忠部，因损失极大，此部停止了进攻。
小鬼子借机占领了营子、乾沂庄、沙埠庄等村庄。而此时的庞炳勋部因兵力损失过大，已失去战斗力，虽强守九曲店、小李家庄、沭埠岭、黄山一线，但河东的阵地已很难支撑，临沂处在危急之中。
三月二十七日，小鬼子一部从早上七时开始，向古城南沙埠庄及小岭、北道发起攻击，另一部则从蒙阴南下，袭击临沂西南的朱陈镇。
二十八日，敌寇又增加一千余人，炮十二三门，配合飞机对临沂城内轮番轰炸。庞军以第三十九师第一一六旅副旅长崔玉海率刘富生第二三一团会同张里元部保安团守城，其余的撤退到城南一带，军部也随之转移到九