再说周不疑所率渡江军主力及本部骑兵，仍然在围攻石头。虽说以水陆两面对吴人进行围攻，已经取得了很大进展，汉军已经数次登上了吴军城墙，立足的时间也越来越长，但距离攻破城池，始终还差最关键的一步。周不疑想：“看来即使攻下石头城，短时间内也没有办法攻下秣陵，再继续进攻，江陵的水师恐怕就要到了，应该做撤军的准备了。”想到这里，他开始正式做渡江的打算，不过仍没有放松对建业的包围。
按理来说，在牛渚矶的水师足以助大军渡江，但考虑到渡江不是一两日，而一旦渡江时撞上江陵水师，后果便不堪设想。故而周不疑没有调用黄权所部，而是在南岸民宅中征调船只。这自然不会有什么大船可言，但幸运的是，南岸的吴人小船还有很多，几日下来，就搜罗出了两百来艘民船，只是船比寻常艨艟还小了一些，一艘顶多载十五六人。
而后周不疑传令各军开始陆续撤围，各部闻言都极为沮丧。围攻一月有余，付出了近万伤亡，却连石头城都没有攻破，这对上对下都难以交代，很多人为此劝周不疑再缓缓。周不疑主意已定，他对诸将说：“我军虽然暂时不利，但上游尚有巴蜀与襄阳水师在攻略荆州，只要我等能在此地牵制吴人，等上游水师前来汇合，获胜不过早晚而已。”可各部得闻后却更是沮丧，他们原想接机立功，可现在撤军之后，功劳不都全到襄阳、江州那边了吗？
好说歹说之下，撤围还是开始了。周不疑将渡江的地点选在了燕子矶，也就是建业东北处的幕府山下。燕子矶因有石峰突兀江上，三面临空，势如燕子展翅欲飞而得名。而作为渡口，此地地形江流平缓，视野开阔，又方便阻隔背后的吴人突袭，是除去牛渚矶外渡江的最好选择。只是包围圈范围过大，加上三军士气低靡，故而撤军一事进展缓慢，一直到了十二月壬寅这一日，也还有四万人尚未抵达撤军位置。
此时周不疑受了些风寒，感到浑身有些乏力，但还是坚持到各军之间视事。说起来，攻城的这些日子里，水土不服的军人很多，不少人因此而丧命。所有死去将士，无法带走，都只能择隐蔽高处草草下葬。好在除了疾病之外，粮草还有许多，足够大军吃到明年二月。但在渡江的时候能否全部带走，这又是一个问题。不过周不疑也顾不上这么多了，他只盼着全军早日到齐，而后早日渡江休整。
当日下午，西边山谷中升起了浓烟，在淡薄的雾气中颇为显眼。邓艾登高观看，见黑烟呈三角形排列，就知道是有紧急军情发生。他连忙把此事通报给周不疑。