英宗复辟后，对景泰时期的阁臣进行了清算，陈循、王文等或被诛杀、或被流放，抗敌功著的于谦也被斩于刑场。时高谷已年逾花甲，早在景泰年间因内阁王文挤兑，就已萌退意，自己又是景泰重臣，英宗虽未罪己，但也不敢再恋相位。于是上书英宗，请求告老，英宗阅书，对左右大臣说“谷在内阁议迎驾及南内事，尝左右朕，其赐金帛袭衣，给驿舟以归。”于是恩准致仕，并赐金帛袭衣，安排驿舟，不久后又赐敕奖谕。

这篇“奖谕”十足耐人寻味，文章前半部说了一通高谷“以智识文学，执经事朕”、“怀旧之私实有切于朕意”之类情谊话。后半部话锋一转，云“卿之归也，日与亲戚故旧徜徉邱园，展契阔之深怀，道朝廷之盛事，清风高致，足以励廉而革贪；盛德雅望，足以敦化而善俗，则卿亦永有终誉焉。”柔言中隐含威胁，其实是警告高谷归里后言行小心，否则，就谈不上“永有终誉”。

高谷归后，隐居故里，绝口不谈景泰至天顺初年的朝廷变故，后来高谷在东台逝世，终年七十岁。成化初年，尚书姚夔进言“高谷进退有道，始终不渝，宜加赐救”，明宪宗乃赠高谷为太保，谥号“文懿”，祀于乡贤祠。

高谷入阁，清廉正直，持议公正，且不避权要，遇事无偏私。给谏林聪因忤重臣，被构罪廷讯，欲论重辟。从南直隶视察灾情回都，闻讯竭力营救，独陈其冤，使林聪获赦并官复原任。大学士陈循因自己的儿子未能中试，遂攻讦考官刘俨、黄谏等人阅卷不公，高谷受命复阅，力言刘、黄无私，且仗义执言云“贵胄与寒士争进，已不可，况不安义命，欲因此构考官乎”

高谷又以荐贤任能，提掖后进为任事，先后两次主顺天乡试，皆称得人。曾上以此为疏主张内外诸司应惟贤是用，又说经筵日讲，关系圣德，荐大理卿陈询、学士吕原、中允杨鼎、左都御史王文、大理卿萧维桢、司业王恂等人入选。后王文入阁，余皆鼎侍经筵。又荐翰林修撰商辂、彭时入阁，二人后为明宪宗时名臣。,