却说袁术探知吕布袭得徐州，星夜差人到吕布处，许给粮五万斛、马五百匹、金银一万两、彩缎一千匹，使其夹攻刘备。
吕布大喜，即令高顺领兵五万从背后袭击刘备。
刘备获知高顺来袭，大惊，
急忙趁阴雨天气弃盱眙而走，东取广陵（今江苏扬州广陵）。
高顺见刘备撤军，到盱眙见到纪灵，索要所许物资。
纪灵接受上次被何仪、黄劭骗走财物教训，对高顺说：“刘备虽然从盱眙撤走，却东取广陵。等捉住刘备，才能将所许物资相送。“
高顺将纪灵的意思回告吕布。
吕布听了，非常气愤，怒骂袁术失信，欲起兵讨伐。
陈宫劝说：“不可。袁术据守寿春，兵多粮广，不可轻敌。不如请玄德回来驻扎小沛，作为羽翼。他日令玄德为先锋，先取袁术，后取袁绍，即可纵横天下。”
吕布听从其言，令人赍书迎玄德还小沛。
且说刘备将至广陵，安营下寨。
半夜时分，忽听四面喊杀，却是袁术乘夜劫寨。
刘备慌忙上马，与关羽、张飞并力拼杀，冲出重围，夺路而走。
经此一战，刘备折兵大半，只得引军撤回。
刘备撤军途中，正遇吕布使者。
刘备看了吕布书信，大喜。
张飞说：“吕布是个无义无信小人，不可轻信。“
刘备说：“既然以好意相待，就不必怀疑。“遂往徐州去见吕布。
吕布恐玄德疑惑，先令人送还家眷。
甘、麋二夫人见到刘备，具说吕布令兵把定宅门，禁止兵卒入内骚扰。
邓罡也说，吕布常派侍妾送物，不曾有缺。
刘备对关羽、张飞说：“吾知道奉先一定不会害我家眷。”就进城感谢吕布。
张飞痛恨吕布，不肯随往，先奉二嫂往小沛去了。
玄德入见吕布拜谢。
吕布说：“我并非想夺城池，只因令弟张飞在这里酗酒打人，恐怕有失，特来帮助守城。”
刘备说：“吾早就想把徐州让给兄长，无奈兄长推却再三，今方如愿以偿。”
吕布假意让还徐州。
刘备力辞不受，还屯小沛驻扎。
关羽、张飞心中不忿。
刘备说：“屈身守分，以待天时，不可与命相争。”
吕布时常令人送粮米缎匹，两家修好。