字文遠，雁門馬邑人也。本是聶壹之后人，為了避乖辟怨，遂改張姓。少年時便已舉郡吏。漢季之期，并州刺史丁原以武力過人，召其為從事，命遼帶兵往赴京都。何進又遣往河北募兵，共得千馀人。遼募兵尚未還，而京中何進已因剿宦失敗而死，因此所領兵盡歸董卓所有。董卓死時，統兵歸屬于呂布，遷任騎都尉（相當于騎兵隊長，地位略低于將軍）。
后來，呂布為李傕所擊敗，跟從呂布往東奔至兗州，為曹操所敗后至徐州。獻帝建安二年(公元197年)領魯相，時年二十八歲。建安三年(公元198年)呂布遣與高順等攻破劉備，但其后曹操破呂布于下邳，部領呂布軍馀眾歸降，被拜為中郎將，賜爵關內侯。
建安五年(公元200年)曹操命與關羽同為解白馬圍的前鋒，擊破袁紹軍。數有戰功，累遷裨將軍。及曹操擊敗袁紹時，別遣鎮治魯國諸縣。