张辽这一战，杀得东吴“人人害怕，闻张辽名，小儿也不敢夜啼”。此役后曹操大赞张辽，又升其为征东将军。建安二十 一年，曹操复征孙权。军到合肥，曹操循行视察昔日张辽作战的地方，赞叹良久。后来继位的曹丕曾评价说：“合肥之役，辽、典以步卒800，破贼十万，自古用 兵，未之有也。”并赞其“此亦古之召虎也。”《三国志魏书十七张辽传》(召虎是与方叔、尹吉甫、秦仲等齐名的东周大将。)

之后，张辽 以征东将军之职长期屯兵居巢(今安徽桐城南)，防范孙权。曹丕接任王位后，改迁张辽为前将军，也封其兄及子为列侯。孙权再叛，后张辽还屯合肥，进爵都乡 侯。曹丕准其母乘车及兵马送其家人到他驻军的地方，这在当时是至高荣誉。后曹丕称帝，封张辽为晋阳侯，增食邑至二千六百户。黄初二年，曹丕还特别替张辽建 造屋舍，替他母亲兴建殿室，另外也把跟随张辽的将士们封为虎贲。

张辽不幸在此时得了疾病。曹丕便遣侍中刘晔带太医应诊，甚至亲到其营 执其手问候，赐其御衣，更派太官送御食。待张辽之疾稍可，辽即回还屯之处。正当其时，孙权复叛，黄初三年，曹丕遣张辽乘舟，与曹休到海陵临江驻防。孙权知 张辽至此，甚为忌惮，告诫部下说：“张辽虽病，不可当也，慎之!”其畏张辽如此。同年，张辽抱病与曹休伐吴，打败吴将吕范。

不久张辽病笃，竟逝于江都，魏失栋梁，一代名将就此陨落。曹丕为之流涕，曰刚侯。其子张虎嗣任其爵。