公元184年，黄巾起义爆发，刘备在涿县组织起了一支义勇军参与扑灭黄巾军的战争，张飞、关羽加入其中，随刘备辗转各地。三人情同兄弟，寝则同床，刘备出席各种宴会时，张飞和关羽终日侍立在刘备身旁。
公元191年（初平二年），刘备投奔公孙瓒，与青州刺史田楷一起对抗冀州袁绍，累有战功，被封为平原相，张飞与关羽在刘备手下任别部司马，分统刘备部曲。
公元194年（兴平元年），北海太守孔融被黄巾军余党管亥围困，派太史慈前来请求援助，张飞随刘备带兵前往救助。后曹操又因为自己父亲被杀发兵攻打徐州，张飞又随刘备前往徐州救援陶谦，陶谦表刘备为豫州刺史，张飞随刘备屯兵于小沛，后陶谦病死，刘备受邀以徐州为根据。
公元196年，袁术攻打刘备，争夺徐州。刘备派张飞守下邳，自己则将兵在盱眙、淮阴抵抗袁术，双方僵持了月余，互有胜负。下邳相曹豹是陶谦的旧部，与张飞不和，曹豹坚守营寨，又派人去找吕布来救。时袁术给吕布写信，劝其乘机袭下邳，答应事成后，援助吕布粮草。吕布很高兴，率军水陆并进。
吕布军队抵达下邳西四十里时，刘备的中郎将丹杨人许耽派司马章诳前来迎接吕布，并向吕布透露了张飞和曹豹相争，下邳城内大乱，丹阳兵都在西白门城内等待吕布的到来，于是吕布便大举进军，早晨到达城下。天亮后，丹阳兵打开城门。吕布坐在城门上，指挥军队大破张飞的部队。吕布俘获了刘备妻小以及刘备的部曲将吏士们的家人。
刘备得知后，引兵还，进至下邳，兵马被吕布军队击溃了。刘备、张飞聚集战败失散的士卒，向东进取广陵，与袁术交战，又一次被战败了。
后来，由于形势所迫，刘备、张飞只好暂时依附吕布，驻军小沛。吕布还刘备妻小。刘备驻小沛，发展较快，不久便聚众万余人。公元198年（建安三年），吕布军队用来购买军马的黄金被刘备的部下抢走。吕布于是派遣高顺等人攻打刘备，刘备不能抵挡。夏侯惇奉命前来救援刘备，却也被高顺击败。不久，高顺等人彻底击溃刘备军。[7-8]刘备失去了立足之地，只得携张飞等人投奔曹操，并与曹操联合。
刘备、张飞跟从曹操进攻吕布。吕布败亡后，张飞被任命为中郎将。公元200年（建安五年），刘备衣带诏事情泄漏，率领关羽、张飞逃走，杀下邳太守车胄，让关羽据守下邳，自己与张飞屯小沛。曹操派刘岱、王忠前来攻打，被张飞、关羽击退。后曹操亲自出马，刘备战败，关羽被擒，刘备与张飞逃奔袁绍。
公元201年（建安六年），张飞与刘备在汝南联结刘辟、龚都等人扰乱曹操后方，许都以南纷纷响应，曹操派蔡阳前来攻打，但被刘备所杀，后刘备被曹仁击败，张飞随刘备投奔荆州刘表，驻扎新野。
刘备在得到诸葛亮后，越来越器重诸葛亮。关羽、张飞对此事感到不悦，刘备解释道：“我得到了孔明，就像鱼得到了水，希望诸君不要再说了。”关羽、张飞于是停止了抱怨。
公元208年（建安十三年），曹操挥师南下，刘表病死，刘琮投降。刘备得知后南逃，数十万百姓相随，曹操派遣曹纯率领虎豹骑急追一日一夜，于当阳长坂追到刘备，刘备军被击溃，只率领诸葛亮、张飞、赵云等数十骑逃走，曹操大获人马辎重。慌乱间又不见了赵云，刘备乃派张飞去断后，张飞召集二十余骑立于当阳桥上，曹军大众至，张飞据水断桥，曹操军都害怕张飞的勇猛，虽然看见张飞人少，但也没有人敢上，刘备军因此获安，而后赵云又救出了刘备的妻子甘夫人和儿子刘禅，与刘备汇合，此时关羽从水道前来接援，张飞与刘备等前往江夏。
赤壁之战后，刘备将张飞借给周瑜攻打南郡，围攻一年后，南郡守将曹仁溃逃。刘备占领荆州后任命张飞为宜都太守、征虏将军，封新亭侯，后转到南郡。