再加上正德皇帝整日贪恋酒色，不理朝政，以及权奸当道，国事日非，何瑭不愿为昏君效力，也不愿同贪官同流合污，于是便向皇上一连写了两次患病不能供职，乞恩放归田里事的辞官奏疏，辞官返乡。

武宗驾崩，世宗登基，改号嘉靖，在内阁首辅杨廷和的扶助下，改革武宗时的一些弊政，起用武宗时因上疏言事而被罢撤、拘禁的官员。退归林下达四年之久的何瑭，被世宗重新起用，任命为山西提学副使，因家父病逝，在家丁忧，未曾赴任。

何瑭改任工部右侍郎，至京改户部右侍郎，掌户籍、田亩、货币、税赋、官员俸禄。与梁俭罨同心辅政，而建议草奏多出自何瑭。后以直道与当道不合，便称疾引退，被御史毛凤诏、华盖殿大学士李东阳，举荐遂改任右都御史，掌南京都察院事。

何瑭告老还乡后，成立“景贤书院“，设馆讲学，著书立说，常常是青灯黄卷，夜深忘倦，把全身精力放在研究历学、算学、律学和著书教徒上，著有阴阳管见、乐律管见、医学管见、儒学管见、兵论、均瑶、均粮等书籍，培养出不少有成就的人才。,