这个其实不需要猜测，已有事实证明。《三国志》有明确记载，吕布被杀之后，刘备跟了曹操一段时间，后来又跑到徐州，杀了徐州刺史车胄，重新占领了徐州，也就是把吕布夺取徐州一事给无视掉，也不改变多少。
先主据下邳。灵等还，先主乃杀徐州刺史车胄，留关羽守下邳，而身还小沛。东海昌霸反，郡县多叛曹公为先主，众数万人，遣孙乾与袁绍连和，曹公遣刘岱、王忠击之，不克。五年，曹公东征先主，先主败绩。曹公尽收其众，虏先主妻子，并禽关羽以归。--《三国志·蜀书·先主传》
只不过刘备最终还是没能守住徐州，徐州被夺，关羽被俘，才有了关羽和曹操之间不可不说的事情，刘备也只能抛弃妻子跑去投奔了袁绍的儿子，当时的青州刺史袁谭，进而搭上了袁绍的关系，在此重振兵马，恢复了一点元气之后，就以出使刘表处结盟的理由，抛弃了袁绍，转而跑去汝南一地，直到后来被曹操赶跑了，又去投奔刘表。
先主走青州。青州刺史袁谭，先主故茂才也，将步骑迎先主。先主随谭到平原，谭驰使白绍。绍遣将道路奉迎，身去邺二百里，与先主相见。驻月余日，所失亡士卒稍稍来集。
曹公与袁绍相拒于官渡，汝南黄巾刘辟等叛曹公应绍。绍遣先主将兵与辟等略许下。关羽亡归先主。曹公遣曹仁将兵击先主，先主还绍军，阴欲离绍，乃说绍南连荆州牧刘表。--《三国志·蜀书·先主传》
所以说，吕布夺不夺徐州不重要，徐州富庶，地广人多，但是抵不住最大的三个军阀袁绍，曹操，袁术，三方雄踞在侧，陶谦经营徐州多年，根基稳固尚且不能自守，所以才有刘备随当时的青州刺史田楷来援一事。刘备根基薄弱，仅靠投靠他的糜竺等人，短时间内根本守不住。
就当时时局来看，曹操紧挨徐州，对徐州是志在必得，所以刘备如果甘愿当小弟，曹操不介意给他一个徐州刺史，但是刘备野心勃勃，怎么可能伏低做小，决裂是必然，徐州终将入曹操之手。袁绍那边当时还在跟公孙瓒打的火热，暂时顾不上，袁术嘛，倒是很有心占领徐州，打不过曹操，他也很无奈呀。