曹叡即位后，派张郃来到南方，驻扎荆州，和司马懿一起进攻孙权的部将刘阿等人，大军来到祁口，与吴军激战，打败了刘阿所部。蜀汉丞相诸葛亮大举北犯，天水、南安、安定三郡吏民叛应诸葛亮，当时朝臣未知计所出，曹叡自信地说“诸葛亮恃险固守，不易进攻。现在他自动来了，正符合引出敌人的战术。打败诸葛亮是一定的了。”于是曹叡给张郃加官特进，让他总督各路军马，在街亭阻挡诸葛亮的部将马谡。马谡依傍险要的南山扎寨，没有下山占据城池，张郃断绝了他取水的道路，然後发起进攻，大败马谡。南安、天水、安定各郡反叛魏国响应诸葛亮，张郃领兵平定了这几处地方，曹叡下诏说“贼寇诸葛亮率领巴、蜀的乌合之众，遇上了猛虎一样的我军将士。将军您披肩甲、执利器，攻无不克，朕要嘉奖你的大功，增加你的食邑一千户，连同一千的赏赐共计四千三百户。”

司马懿在荆州治理水军，打算沿著沔水进入长江讨伐东吴，曹叡下诏命令张郃统帅关中的部队接受司马懿的指挥。张郃到达荆州时，正赶上冬季水浅，大船不能行进，于是回师方城驻扎。太和三年，诸葛亮再次出祁山，对陈仓发动猛烈进攻。曹叡派驿马召张郃到京师，还亲自到河南县城，设置酒宴为张郃送行。曹叡派遣三万士兵以及武卫、虎贲两营的勇士护卫张郃，还问张郃“等将军到了前线，诸葛亮会不会已经占领了陈仓”张郃知道诸葛亮孤军深入，不会携带太多的粮草，不能久攻，就回答说“估计臣还没到前线诸葛亮就已经撤走了。臣屈指计算，诸葛亮的粮草支撑不了十天。”张郃昼夜行军到达南郑，诸葛亮果然撤退了。曹叡诏令张郃回师京城，任命他为征西车骑将军。

张郃用兵机变无双，懂得战术变化，擅於安营布阵，根据地形布置战略战术，没有他预料不到的情况，从诸葛亮起的蜀国大将都非常忌惮他。张郃虽然是武将，却喜欢同儒士交往，曾经推荐同乡卑湛，说他通晓经学，品德高尚，曹叡下诏说“从前祭遵当将军的时候，奏请设置五经大夫，即便在军营中，也和儒士进行唱诗、投壶的游戏。现在将军您统军在外，在内还注意维护朝廷的礼仪。朕非常赞赏将军的美意，准许提拔卑湛为博士。”

太和五年，诸葛亮第四次北伐，诏命张郃统领众将到略阳迎击，诸葛亮退守祁山，张郃追到木门谷，与蜀军交战，飞来的箭矢射中了张郃右膝，张郃阵亡，据魏略记载，是司马懿强行命令张郃追击。朝廷赐给他壮侯的谥号，他的儿子张雄继承了他的爵位。张郃征战多年，屡立战功，明帝分给他食邑，封他的四个儿子为列侯，赐给他的小儿子关内侯的爵位。

就张郃之死，或许是司马懿的阴谋，归军无追这个道理，司马懿不可能不知道，而他找借口逼张郃上道，只可能是他的篡位计划受到了张郃的威胁，为了控制全国，他已经把曹真解决掉了，剩下对他有威胁的只剩张郃了，除去张郃便成了司马懿实现吞魏而必须进行的一步，至于历史上是否真是这样我们不得而知，毕竟在司马氏的天下，陈寿不可能也不敢写出威胁司马氏统治的言论。

曹操对司马懿一直都防范，而曹丕却重用司马懿，甚至以之为托孤大臣，以司马懿帮助曹丕成功取下曹操的继承位，并成功登基建国，而张郃，作为边关将领，是不可能参与夺嫡斗争的，所以曹丕对张郃的信任，不足以把张郃列入托孤大臣的名单，也正是如此，张郃的头上永远有一个司马懿在压制着，从而导致最终的悲剧。

罗贯中由于“尊刘反曹贬孙”的思想，不仅抹杀了张郃的战绩和智谋，把他的英勇善战写得很少，而且只字不提他是一位为刘备和诸葛亮所深深惧惮的人物，甚至把他的死写为由于不听司马懿的劝告，自告奋勇追击，最后被诸葛亮设计射死。,