刘备不是傻子，听出了吕布的意思，刘备虽然有匡扶天下的心思，但是他更顾及忠义的虚名，甚至顾及得有点迂腐，当然，也是因为刘备一直处在较低的社会地位上，还没有完全适应新的身份，这才要让徐州。
设宴款待后，收拾庭院让吕布住下。
第二天，吕布会请玄德，刘关张一同前往。
酒过三巡后，吕布请玄德进入后堂，关、张一起进入。
吕布让妻女出来拜见玄德。玄德一再谦让。
吕布说：“兄弟你不必推让，你大大方方的就行了。”
张飞听了，瞪着眼睛大声说：“我哥哥是皇室后裔，金枝玉叶，你特么是什么玩意儿，敢加我哥哥为兄弟！来来来，你不服的话，咱们打个三百回合！”
玄德连忙让张飞住嘴，关公也劝张飞先出来。
玄德与吕布说：“我这弟弟比较粗鲁，酒后说话更是没一个把门的，老兄不会要见怪啊。”
吕布低头不说话，离席后，吕布送玄德出门，张飞跃马横枪对着吕布大叫：“吕布！我明说吧，老子就是看你不顺眼，不打上个三百回合不解我心头之气！”玄德急忙让关羽劝止张飞。
张飞和吕布都是有本事的人，吕布的能力还要更胜一筹，张飞每次碰见吕布都要问候人家先人，还骂人家三姓家奴。他为什么这么烦吕布？一是因为他看不起吕布见利忘义反复无常；二是因为他上次没有打败吕布，有点不服气；最主要是因为吕布确实没脸没皮，刚到徐州就毫不客气的要接受徐州的大印，这让张飞更是烦上加烦。
吕布心里很清楚张飞讨厌自己，对付刘关张的话吕布没有取胜的把握。第二天，来向刘备告辞说：“感谢你不嫌弃，但你的兄弟不能容我，我决定另投他处。”
玄德一听，那个虚荣的忠义心出来了，说：“将军要是因为这个离开的话，我罪过大了。我那兄弟顽劣冒犯，找时间我让他给你赔礼道歉就是了。徐州附近有个小镇叫小沛，是我以前屯兵的地方。将军如果不想起的话，可以先去那边安顿，就当歇歇马了，怎么样？军需物资，我会足额拨付。”
吕布正无处去，就率领手下人马赶去小沛安身去了。
