和别的诸侯比起来，刘备不但旧部少，敌对势力还多。前面提到的袁术、曹操，只是外部敌人，徐州境内还有很多独立武装。
但徐州北端的琅琊国和东海国两地，被汉末著名的泰山群寇占领着，为首的是臧霸。
臧霸是泰山郡人，官吏子弟，他的父亲是典狱长。青徐黄巾军爆发，臧霸跟随陶谦剿灭黄巾军，他以骑术见长，屡立战功，担任了陶谦的骑都尉。后来陶谦去世，臧霸脱离朝廷，带着孙观、吴敦、尹礼等各位同乡头领一起割据在琅琊国、东海国一带。不知道有没有招齐天罡星和地煞星。
不仅臧霸，这个泰山同乡组织里，还另有一霸：昌霸。昌霸虽然跟着大家混，但总游离于组织之外，不过他的战斗力非常强，在《后出师表》里有句话，列举了曹操的失败：“曹操五攻昌霸不下，四越巢湖不成。“反映出昌霸的武力值。昌霸的势力范围更靠南，占据东海国大部分地区。
徐州的南端是广陵郡，这里同样有军阀割据，割据者依然是来自陶谦的旧部，这个人叫笮融。
笮融是彪炳中国佛教史的人物，他对佛教扎根在中华，有着巨大的贡献。笮融第一个建佛教寺院，第一个建佛塔，第一个建大型佛像，第一个举办浴佛节，第一个为信徒免除徭役。属于佛教界五个一工程的创始人。
笮融不但给三千人提供诵读佛经的场地，还免费给上万人提供浴佛节的食物，“费以巨亿计”。这在汉末战乱时期是非常不容易做到的，但笮融做到了。
当初，身为丹阳人的笮融招集了几百人的队伍投奔了同乡陶谦。陶谦这个人性格刚硬，但有同乡癖，对老乡爱得可歌可泣。他任命笮融为下邳国相，同时督管彭城、下邳以及广陵三地的粮运。
笮融拿着三个郡国的巨额钱粮，毫不犹豫地打造了他的佛教五个一工程，高大的佛像涂了金装披了锦衣，在烟火的彩云中熠熠生辉，接受着信徒地膜拜。
后来，曹操讨伐徐州杀到了下邳，作为陶谦的老乡和下属，笮融义无返顾地离开了陶谦，他带着一众铁粉，跑到徐州其他地区。开始了“放下佛祖，举起屠刀”的魔鬼人生。
笮融披着佛像的彩衣，在酒桌宴席的觥筹交错中杀死了迎接他的徐州同事。先杀了广陵太守赵煜，接着杀了彭城相薛礼。
笮融瞬间帮同僚达到了“刀枪穿肠过，酒肉心中流。”的境界。然后，笮融带着士兵烧杀抢掠，割据在了富饶的广陵地区。
将仁善与残暴装在一个灵魂里，比雌雄同体还难做到，但笮融做到了。
所以，徐州的辖区内虽有四国一郡，但真正属于刘备的只有下邳国和彭城国。徐州的治所原来在的东海国的郯城，刘备上任后迁移到了下邳城，就是为了躲避地方武装。
面对徐州这块被人咬剩下的饼，饥饿难忍的刘备一边双手接过徐州，一边在嚎啕大哭啊。反正，比“手慢无”强啊。
更要命的是，半路还杀出个“吕咬金”，虽然吕布一直对刘备示好，但吕布心性不定，哪天一高兴，很可能会带着张辽、高顺、成廉等人占领下邳。刘备留下张飞也有实际且正大光明的理由：防御阴晴不定的吕布。
所以，你让刘备怎么果断地杀掉曹豹和许耽？周围敌人的地盘儿比自己还大呢，杀了他们谁来为自己守城呢？