吕布见之，倒也有几分急智，暗思：“袁氏兄弟二人不和，如今袁术不喜某，不如改投袁绍，岂不又是大功一件？”于是另投袁绍去了。

初至袁绍麾下时，袁绍正与黑山军张燕交战，吕布立下一些战功，便又故态复萌，惹得袁绍亦对其猜疑。

吕布为此深感不安，便向袁绍提出领兵回雒阳。

袁绍佯装应允，并假借天子之名任吕布为司隶校尉，暗中则派人欲杀吕布，不想吕布虽无谋，却甚是机警，因此得以安然脱身，使袁绍未能如愿。

无奈之下，吕布只好再投河内太守张杨。张杨与吕布同为并州人，为人颇有义气，见吕布来投，便收留于其，吕布这才稍得喘息。

去河内途中，吕布又与陈留太守张邈结好，此举却是为其留下复起之机。

蔡瑜每每看到有关吕布的情报，尽管早有所知，仍是忍俊不禁，只觉猛将兄不仅是天下第一猛将，更是天下第一“乐子人”。

初平四年（193，一月，取下益州已逾半载，年节一过，蔡瑜决意巡察诸郡，察为政之得失，并示之百姓谁乃益州之主。

州牧出行，别驾从事与治中从事自然要随行，别驾从事乃凌操，治中从事一职则由已至益州的袁涣担任。

除凌操与袁涣二人，蔡瑜本欲只带荀攸、典韦，并由吴懿领一千兵马护卫即可，不想诸葛亮闻讯，请求随行。

蔡瑜奇道：“我巡察诸郡，路途遥远，所需时日甚多，短则数月，长则一载，且益州多山，道路崎岖，必定极为辛苦，你为何要与我同行？”