張遼不僅長于征伐，而且頗有戰略眼光。建安十二年曹操遠征袁尚時，張遼勸諫說:“許昌，現在是天下的都會。天子(漢獻帝)正居許昌，您千里北征，如果劉表派劉備偷襲，挾持了天子而號令四方，形勢就危險了!”果然，曹操北征之后，劉備即向劉表建議襲許，而劉表不能用其計。但就當時形勢而言，在劉表為失計，在曹操為僥幸，張遼的擔心是很有見識的。

　　張遼在其二十余年的戎馬生涯中，攻無不克，守無不固，其為將之勇力和智略皆有可觀。張遼軍旅生涯最輝煌的巔峰是對孫權的合肥之戰。208年，曹操于赤壁之戰大敗，派張遼、李典、樂進率七千余人駐合肥，并派護軍薛悌送函給張遼，函署“賊至乃發”。建安二十年(215)八月，吳主孫權親自率兵十萬圍困合肥。此間，駐守合肥的曹軍僅七千余人。兩軍對陣，眾寡懸殊。偏偏在這危急關頭，曹操又親自率兵西征在外，一時無法派遣軍隊來援救合肥。遇此嚴峻形勢，對于駐守合肥的曹軍來說，實在是兇多吉少。守將樂進、李典相覷無奈，猛將張遼見此拍案而起曰:“曹公今遠征在外，若坐等曹公派援軍來救，即便援軍來到，那時吾等也早被吳軍擊敗。現在唯一的上策，是在吳軍尚立足未穩之時，主動出擊，挫其銳氣，方能安定眾心，鼓舞士氣，得以守住城池。成敗之機，在此一戰，諸君何疑?”

　　李典與張遼素有隔閡，然在此危急關頭，聞張遼之言，便慷慨陳詞曰:“此國家大事，既然將軍主意已定，奮不顧身，吾等能以小私而舍棄大義乎?”于是，張遼夜募敢從之士八百人，于破曉時突殺吳陣，直戰至日中乃休戰，使吳軍遭受重創。此戰中，“(張)遼披甲持戟，先登陷陳，殺數十人，斬二將。”孫權猝不及防，10萬大軍被逼迫退守到一片高地。后來見張遼兵少，“乃聚圍遼數重”。張遼軍左沖右突，勇不可當，一度與數十人殺出重圍，后見自己的大部人馬還在圍中，又折返回陣，救出自己的部下。孫權的軍隊“皆披靡，無敢當者”。一場大戰從清晨殺到中午，“吳人奪氣”，孫權只好撤退。

　　后孫權“守合肥十余日，城不可拔，乃引退”。當孫權與諸將行至逍遙津北時，恰為張遼偵知。遼即率步騎突然而至，甘寧與呂蒙等吳將與遼力戰，凌統則率親兵護權出圍。當孫權退至逍遙津橋時，見橋南已拆、丈余無板。在此危急關頭，孫權近監谷利急中生智，于孫權坐騎后猛著一鞭，使孫權借助奔馬之勢飛橋而過，幸免于難。此戰史稱張遼威震逍遙津，是三國時期魏吳相爭中創下的一次以少勝多的著名戰例。

　　此役后曹操大贊張遼，拜征東將軍。建安二十一年，曹操又征孫權。軍到合肥，曹操巡視昔日張遼作戰的地方，贊嘆良久。后來繼位的曹丕曾評價說:“合肥之役，遼、典以步卒八百，破賊十萬，自古用兵，未之有也。”并贊其“此亦古之召虎也。”《三國志魏書十七張遼傳》(召虎是與方叔、尹吉甫、秦仲等齊名的東周大將。)

　　此后，張遼以征東將軍之職屯兵居巢(今安徽桐城南)，防范孫權。曹丕接任王位后，改遷張遼為前將軍，也封其兄及子為列侯。孫權再叛，曹丕遣張遼還屯合肥，晉爵都鄉侯。曹丕準其母乘車及兵馬送其家人到他駐軍的地方，這在當時是至高榮譽。后曹丕稱帝，封張遼為晉陽侯，增食邑至兩千六百戶。黃初二年，曹丕還特別替張遼建造屋舍，替他母親興建殿室，又把跟隨張遼的步卒封為虎賁。

　　張遼不幸在此時得了疾病。曹丕便遣侍中劉曄帶太醫視疾，甚至親到其營執其手問候，賜其御衣，更派太官送御食。待張遼之疾稍愈，遼即還屯。正當其時，孫權復叛，黃初三年，曹丕遣張遼乘舟，與曹休到海陵臨江駐防。孫權知張遼至此，告誡部下說:“張遼雖病，不可當也，慎之!”其畏張遼如此。同年，張遼抱病與曹休伐吳，打敗吳將呂范。