张辽投降后被曹操封为了中郎将，并赐爵关内侯，说实话，这时候的张辽还只是一个小官。

到了建安五年（公元2年，官渡之战爆发，袁绍派手下大将颜良率军突袭了白马，为了解白马之围，曹操亲自率领大军前往救援，命关羽和张辽作为先锋。其实曹操这样的安排是有用意的，当时关羽无奈之下受张辽的劝说才不得已投降了曹操，期间曹操对关羽礼遇有加，但始终没有重用，每次打仗都不带他，就是因为关羽在投降之前和曹操定下了三个约定。

现在大敌当前，颜良又是袁绍手下两大猛将之一，曹操无奈之下只得启用关羽，而当时曹操也是早就知道刘备就在袁绍那里的，但一直没有告诉关羽。现在之所以让关羽前去迎战颜良，一是想要看看关羽的真正实力，还有一点就是如果关羽真的打败了颜良，说不定会因此激怒袁绍，进而危及刘备，试想一下如果刘备被袁绍一刀给宰了，那关羽得啥心情啊！到时候自己再用好言劝说，这关羽不就成自己的人了吗？

而之所以派张辽和关羽一起担任前锋，可能就是一种监视吧，毕竟关羽之前一直都没有真正要投降的意思，曹操担心关羽突然反叛，而且张辽和关羽本是好朋友，两人武艺又差不了多少，有张辽在，曹操更加放心一些，当然了，这是个人观点，当做玩笑而已。

话说关羽和张辽是何等样的人，只一战就击败了颜良，关羽更狠，还把颜良的脑袋给顺走了。颜良也纳闷啊，心想刚刚还好好的呢？怎么一转眼的功夫天就黑了呢？难道我忘记时间了？既然天黑了，那我就睡觉吧，于是扑通一下倒在地上就“睡着了”。（哈哈又调皮了而在官渡之战中张辽因多次破敌有功，被曹操拜为了裨将军。

到了建安六年（公元21年，张辽和夏侯渊一起包围了昌豨的东海郡，这一围就是好几个月啊，后来粮食都快吃完了，还是没能打下来，当时夏侯渊就有点着急了，和众人商量说现在打又打不下来，老是这么围着他也不是办法啊，一帮子人就商量着要撤兵了。只有张辽看出了昌豨有些动摇，于是亲自前去劝说昌豨投降了曹操，可见他是一个有胆有识的人物。

此后的几年里，张辽屡次立功，先是打败了袁氏的袁谭和袁尚两兄弟。后来又招降了太行山一带的匪寇，到了建安十年（公元25年，袁谭兵败身亡后，张辽奉命安抚海滨一带百姓，期间打败了辽东军阀公孙度设立的营州刺史柳毅，后来又和长广太守何夔联合平定了矣平的从钱等人。

建安十一年（公元26年，张辽率军从东莱返回邺城曹操得知后亲自出城迎接，并任命张辽为荡寇将军。要么说东汉末年那么多专政的枭雄如董卓，以及后来的王允，李傕，郭汜等人，包括之前最早的十常侍都不能长久，只有曹操能掌控东汉政权数十年呢？人家曹老板重视人才，会用人啊！而且赏罚分明，从来不任人唯亲，这样的老板你说谁能不喜欢呢？

建安十二年（公元27年，曹操亲率大军北征身在柳城的袁尚、袁熙与乌桓。同年八月曹操带领先锋部队抵达白狼山时与敌人遭遇，曹操被打了个措手不及，而且自己的大部队还没有赶上来，自己所率领的军队人数很少，乌桓又是当时北方强大的部族。

面对如此强硬的对手，曹操手下众人都非常畏惧，不敢向前，只有张辽提出要主动出击，言辞慷慨激昂，曹操十分欣赏，于是下令把自己的麾盖暂时交给张辽使用，所率军队全部由张辽指挥。于是张辽率先锋冲入了尚未排成战斗阵形的乌桓军队当中，此战张辽不仅以少胜多击败了乌桓大军，还斩杀了乌桓首领蹋顿。

战斗结束后曹老板那个高兴啊，对张辽是大加赞赏啊！后世更有人把张辽和卫青、霍去病相比。张辽也因这一战从此声名鹊起，成为了曹操手下重要的将领之一。

建安十四年（公元29年，庐江的豪强陈兰、梅成占地谋反，曹操得知后派于禁、臧霸等人率军前去讨伐梅成，又派遣张辽率领张颌、牛盖等人带兵去讨伐陈兰。当时的梅成心知不是于禁的对手，就以诈降之计诱使于禁回军，自己再次反叛率众逃到了陈兰那里，二人率部下进入灊山自守。