定军山大捷使得老将黄忠扬名立万，斩杀敌军首帅夏侯渊更加大增了刘备军士的士气。
回到军营之后，所有人都对黄忠所立下的功勋表示赞叹，但是刘备似乎还有别的想法，显得很平静，他微微叹了口气说：“夏侯渊虽然是敌军的统帅，然而真正令我感到忌惮的人是张郃，此战没能将他的首级斩下真是太遗憾了...”
法正也认为张郃是个十分麻烦的人物，他分析道：
“如今意气用事的夏侯渊死了，我想在曹操的大军赶到之前汉中守军一定会推举张郃为临时统帅，这个人比起夏侯渊来说更为沉着，谋略也非同一般，不是个容易应付的对手，看样子我们想要一鼓作气拿下整个汉中，尚需筹谋和时日...”
刘备的顾虑不是没有道理的，在夏侯渊阵亡之后，张郃立刻根据情势做出了及时的战略部署，他认为现在的局势已经一面倒的偏向于刘备，且定军山的有利地形也全部为其所占，继续留在这里无异于坐以待毙，于是他带着驻扎在定军山的近两万人守军撤出了走马谷要塞，与固守阳平关的徐晃合兵一处。
在将夏侯渊首级交给了张郃之后，郭淮偷偷的留下了书信离开了阳平关，张郃看了书信之后立刻骑马追赶，终于在沔水追上了他。
一见面张郃就问：“眼下武都已失、定军山沦陷、夏侯将军阵亡，现在刘备正准备大军合围阳平关，在这个关键的时候你选择一走了之，对得起夏侯将军对你的信任吗？”
低着头的郭淮始终不说一句话，张郃见他是这样的态度不禁急了：
“你倒是说话啊！”
其实张郃之所以不愿意留下，正是因为他感觉自己对张郃、对夏侯渊心中怀有无法弥补的愧疚，当初瓦口关之战若不是自己从中作梗，张郃不可能会落得如此惨败，这次自己又曾想要暗杀夏侯渊，虽然这一切都非出自郭淮的本意，但是事实确是他一手造成。
“将军不要再说了，如今我已自感力竭，难以在效力于疆场，还请您放我离开。”
面对郭淮表面上的去意已决，张郃看出了郭淮心中那强烈的不甘，他伸手拍了拍郭淮的肩膀说道：“夏侯渊将军拼却性命也要守护的汉中，现在正应该需要我们来继承他的意志，之前我曾亲眼看到你为了抢回夏侯将军的首级而发狂的样子，你难道真的甘心吗？”
最终郭淮被张郃说服，答应帮助张郃渡过这一难关之后再行决定是否离开。
回到阳平关后，所有困守于汉中之地的数万将士们，不仅要面对的是士气的极度低落问题，首当其冲的便是解决群龙无首的问题。
当时呼声最高的要数成功将两万守军，从刘备眼皮子地下平安带回阳平关的张郃，然而军中也有很多人认为张郃先是在瓦口关为张飞所败，又在定军山鏖战之际失去了制高点广石，根本不没有胜任统帅之位的能力，因此更加偏向于徐晃。
在这个时候任司马之职的郭淮和督军杜袭等人坚定的站在了张郃一边，极力推举张郃担任临时统帅的职务。张郃本想推却，但是在众人的再三推举之下，加上徐晃本人明确表示愿意听从张郃的指挥，他觉得自己应该扛起这个重担于是接受了临时指挥的权利。
为了赶在曹操的大军到达汉中之前尽快消灭固守在此的敌军，刘备一方面派遣张飞、马超等人加紧攻打失去武都而屯守河池的曹洪所部，而对于他更为忌惮的张郃，刘备则亲自率领大军，准备渡过沔水彻底踏平阳平关。
见刘备已有转道重新攻打阳平关之意，很多人认为现在阳平关的守军加起来不过四万人，敌众我寡且实力悬殊，应当将全部兵马依水结阵阻击刘备过河。
看了看地图之后郭淮却提出了不同的意见：
“这样做就等于将我们实力捉襟见肘的事实直接袒露在刘备的眼前，他反而会强行渡河，不如将河岸边的防线向后拉伸，这样一来也可让刘备放松警惕，倘若他真的渡河来袭的话，我们可以趁他渡河一半的时候突然发起攻击，这样定可以击破刘备！”
这个想法一经提出，当即遭到了很多保守派的将领反对，他们认为这么做有着放刘备公然渡河的危险，然而徐晃听后却认为这是招值得一试的险棋，于是站出来支持了郭淮。
张郃权衡之后也赞同郭淮的计策，于是将沔水北岸公然暴露于刘备的面前。
此时大军前锋已达沔水南岸的刘备军队看到了大河北岸居然没有任何一兵一卒驻防，于是立刻向刘备请示，是否应当趁此良机迅速渡河占领沔水北岸。
刘备见状以为是曹军自知没有足够的实力，所以无法再沔水北岸设防，但是军事嗅觉非常敏锐的法正却看出了其中的玄机，他对刘备说：
“主公，张郃非等闲之辈，他十分清楚沔水北岸是阳平关正背面唯一的一道防线，又怎么会轻易将其让出来呢？我想他们肯定有所预谋，此时绝不能贸然渡河。”
法正的话提醒了刘备，他也隐约感觉到了对岸的平静只是表面上的，于是下令前锋人马就地驻扎在沔水南岸，没有命令不得渡河发起进攻。转而命令赵云、张翼率军直取空城南郑，后又渡过沔水夺占沔阳，至此褒水以西，除了阳平关和河池外的领土尽皆被刘备收入囊中。
此时无论是阳平关的张郃还是河池的曹洪，都知道自己若是在孤军坚守下去的话，被歼灭的是迟早的事，于是曹洪下令弃守河池率军北上退守大散关。
张郃也趁着刘备大军没有渡河追击的几天宝贵时间，将手中的四万人撤出了他们坚守数月的阳平关，绕行东狼谷抵达了赤岸，等待曹操的大军抵达后再做计议。
公元219年（建安二十四年）三月，曹操率领的二十万大军终于抵达太白山，由斜谷进入汉中顺着褒水南下，与驻守在赤岸的张郃、徐晃所部会合。
为了亲自了解汉中之战的详细情况，曹操就地扎营之后立刻命人传张郃与徐晃、辛毗和杜畿等人前来询问，所有人都听命前来且唯独不见了张郃。
“儁乂将军为何没有一并前来呢？”
曹操身为汉中守军临时统帅的张郃居然没有前来，不禁感到奇怪，这也让站在他身旁的司马懿感觉有一丝的不寻常。然而就在此时门外的将官跑到了帐门口向曹操禀报说：
“启禀魏王！张郃将军已经抵达了霸府中军大帐门口，只是...”
“只是什么？”
说罢曹操站起身和司马懿等人一同走出了帐外，却惊愕的发现张郃上身赤裸，背负长满尖刺的荆条跪在了帐门口前不远处，他双手捧着长剑低着头对曹操大声喊道：
“罪臣张郃身负魏王守卫汉中、辅佐夏侯渊将军之重责，然而末将却有违魏王重托，致使夏侯渊将军含恨定军山，还私自下令将所有兵马撤出了阳平关，将汉中大部领土拱手让给了刘备，此乃万死亦难辞分毫之重责！还请魏王依法治末将之罪！”
见张郃这幅样子令很多人都不免为之而动容，纷纷开口替他求情，杜畿和辛毗对曹操说：
“魏王！汉中的连番战事张郃将军都已经尽力了，还请魏王...”
未等辛毗把话说完，曹操便伸手打断了他的话，站在一旁的司马懿虽然没有开口为张郃求情，但是他一直在暗中观察曹操面部表情的神态，心中认定自己已经没有求情的必要了。
凝神沉默了片刻之后，曹操一步一步走到了张郃的面前，缓缓弯下腰伸出了自己的双臂轻轻将跪在地上的张郃扶了起来，并亲手解开了绑缚荆条的绳子，看着满眼泪光的张郃，曹操动情的说：“汉中累战落得如此地步，非将军一人之过，若非将军当机立断将我四万大军带出了虎口，恐怕寡人会遭受更大的损失，所以将军非但无过反而有功，寡人要向你道谢。”
随即曹操转身对着身后刚刚从阳平关狼狈逃出的将士们说道：
“诸位，这些年来我曹孟德先后消灭了袁绍、刘表、马韩，拥有了如此广阔的疆域领土，打的胜仗数不胜数，但是寡人也打过败仗，宛城之战寡人被张绣追得狼狈逃窜，还失去了我的长子曹昂和爱将典韦；赤壁之战寡人十几万大军为周瑜的大火付之一炬，又是狼狈抄华容道小路逃回了江陵；潼关合战寡人被马超追击于渭水几乎丧命。”
说着曹操忍不住流下了眼泪：“寡人今日和你们说这些我平日里最不愿意提起的往事，就是为了告诉你们，打了败仗不丢人，丢失了领土更不丢人！为什么呢？因为寡人会陪着你们一同打回去，杀回汉中！生擒刘备！”
众文武纷纷同曹操一齐落泪，齐声喊道：“杀回汉中！生擒刘备！”
曹操的话令在场所有的人都非常感动，自从曹操当上魏王以来猜忌之心日重，娄圭与崔琰之死让很多人对他十分敬畏，然而这次曹操对张郃如此宽容大度，让那些悄然间对曹操离心离德的臣子们，再度感受到了曹操身为君主的仁慈一面。