曹丕即魏王位后，任命张合为左将军，进封都乡侯爵位，等到曹丕登基之后，又进封他为鄚侯，命令张合与曹真率领兵马征伐盘踞在安定一代，卢水胡人和东部羌人。战斗结束后，曹丕又在许昌宫召见了张合、曹真，派张合南下与夏侯尚一起进攻东吴政权的江夏郡，张合独自率领几路大军渡过长江，夺取了百里洲上的吴军堡垒。
曹叡即位后，派张合来到南方，驻扎荆州，和司马懿一起进攻孙权的部将刘阿等人，大军来到祁口，与吴军激战，打败了刘阿所部。蜀汉丞相诸葛亮大举北犯，天水、南安、安定三郡吏民叛应诸葛亮，当时朝臣未知计所出，曹叡自信地说：“诸葛亮恃险固守，不易进攻。现在他自动来了，正符合引出敌人的战术。打败诸葛亮是一定的了。”于是曹叡给张合加官特进，让他总督各路军马，在街亭阻挡诸葛亮的部将马谡。马谡依傍险要的南山扎寨，没有下山占据城池，张合断绝了他取水的道路，然後发起进攻，大败马谡。南安、天水、安定各郡反叛魏国响应诸葛亮，张合领兵平定了这几处地方，曹叡下诏说：“贼寇诸葛亮率领巴、蜀的乌合之众，遇上了猛虎一样的我军将士。将军您披肩甲、执利器，攻无不克，朕要嘉奖你的大功，增加你的食邑一千户，连同一千的赏赐共计四千三百户。”
司马懿在荆州治理水军，打算沿着沔水进入长江讨伐东吴，曹叡下诏命令张合统帅关中的部队接受司马懿的指挥。张合到达荆州时，正赶上冬季水浅，大船不能行进，于是回师方城驻扎。太和三年，诸葛亮再次出祁山，对陈仓发动猛烈进攻。曹叡派驿马召张合到京师，还亲自到河南县城，设置酒宴为张合送行。曹叡派遣三万士兵以及武卫、虎贲两营的勇士护卫张合，还问张合：“等将军到了前线，诸葛亮会不会已经占领了陈仓？”张合知道诸葛亮孤军深入，不会携带太多的粮草，不能久攻，就回答说：“估计臣还没到前线诸葛亮就已经撤走了。臣屈指计算，诸葛亮的粮草支撑不了十天。”张合昼夜行军到达南郑，诸葛亮果然撤退了。曹叡诏令张合回师京城，任命他为征西车骑将军。
张合用兵机变无双，懂得战术变化，擅於安营布阵，根据地形布置战略战术，没有他预料不到的情况，从诸葛亮起的蜀国大将都非常忌惮他。张合虽然是武将，却喜欢同儒士交往，曾经推荐同乡卑湛，说他通晓经学，品德高尚，曹叡下诏说：“从前祭遵当将军的时候，奏请设置五经大夫，即便在军营中，也和儒士进行唱诗、投壶的游戏。现在将军您统军在外，在内还注意维护朝廷的礼仪。朕非常赞赏将军的美意，准许提拔卑湛为博士。”
太和五年，诸葛亮第四次北伐，诏命张合统领众将到略阳迎击，诸葛亮退守祁山，张合追到木门谷，与蜀军交战，飞来的箭矢射中了张合右膝，张合阵亡，据《魏略》记载，是司马懿强行命令张合追击。朝廷赐给他壮侯的谥号，他的儿子张雄继承了他的爵位。张合征战多年，屡立战功，明帝分给他食邑，封他的四个儿子为列侯，赐给他的小儿子关内侯的爵位。
就张合之死，或许是司马懿的阴谋，归军无追这个道理，司马懿不可能不知道，而他找借口逼张合上道，只可能是他的篡位计划受到了张合的威胁，为了控制全国，他已经把曹真解决掉了，剩下对他有威胁的只剩张合了，除去张合便成了司马懿实现吞魏而必须进行的一步，至于历史上是否真是这样我们不得而知，毕竟在司马氏的天下，陈寿不可能也不敢写出威胁司马氏统治的言论。
曹操对司马懿一直都防范，而曹丕却重用司马懿，甚至以之为托孤大臣，以司马懿帮助曹丕成功取下曹操的继承位，并成功登基建国，而张合，作为边关将领，是不可能参与夺嫡斗争的，所以曹丕对张合的信任，不足以把张合列入托孤大臣的名单，也正是如此，张合的头上永远有一个司马懿在压制着，从而导致最终的悲剧。
罗贯中由于“尊刘反曹贬孙”的思想，不仅抹杀了张合的战绩和智谋，把他的英勇善战写得很少，而且只字不提他是一位为刘备和诸葛亮所深深惧惮的人物，甚至把他的死写为由于不听司马懿的劝告，自告奋勇追击，最后被诸葛亮设计射死。
喜欢史事讲将1三国明请大家收藏：(m.zjsw.org)史事讲将1三国明爪机书屋更新速度全网最快。