在赴钦州途中，他因顺路去家乡探望了老母十余天，陈汝言就上奏说，他在贬降外任途中擅自耽搁，以前还强占过土地等罪行。岳正遂又被逮捕入狱，杖责一百后流放肃州。岳正行至涿州驿舍时，因双手被拷得太紧，几乎气绝身亡，多亏涿州人杨四用酒灌醉了看守他的公差，松开了他的械具，并厚金贿赂公差，请他们一路多加关照，岳正才得以平安到达肃州。

石亨、曹吉祥先后被杀后，英宗对李贤说“岳正固尝言之。”李贤说“岳正有老母，得放归田里，幸甚。”于是，岳正被允许放归故里为民。宪宗即位，御史吕洪等请恢复岳正的名誉，岳正官复内侍书之职，参与纂修英宗实录。当初岳正获罪时，家里财产，尽赐季铎。季铎得旨后，独占岳门，检括净尽，见被逐出的岳家人一一搜检，使岳氏一门受尽奇耻大辱。岳正还朝，正值季铎获罪。宪宗说“季铎的家产，尽是岳正之物，可悉取还之”。岳正便仿效季铎的办法，将其搜括一空。岳正还朝，自以为会被重用，而李贤原只想任他为南京国子监祭酒，岳正十分不满，后因妒忌他的人，伪造了岳正弹劾李贤的奏章，引起了李贤的反感，连祭酒也没让他做。

岳正被外任为兴化知府，在任上他兴修水利，灌溉良田数千顷，并节省开支，整顿库存，准备大干一场，有所兴革，谁料却引起了当地士大夫们的不满，纷纷起而攻击、诽谤他。岳正越发感到仕途险恶。岳正上请致仕，回归乡里，五年后去世，年仅55岁，无子，大学士李东阳、御史李经为其女婿。

岳正被流放戍所时，英宗常思念起他，曾说“岳正倒好，只是大胆。”岳正闻言，作自赞小像，其中有“岳正倒好，只是大胆，惟帝念哉，必当有感，如或赦汝，再敢不敢。”最后一句为“臣尝闻古人之言，盖将之死而靡憾也。”可见其自信如此。

岳正，一生无书不读，曾说“天下事无不可为。”他以清高自许，俯视一世，其诗文高简峻拔，直追古人，字法精邃，大书尤伟，旁及雕绘镌刻，皆至臻其妙。常戏画葡萄，遂称绝品，著有类博稿十卷。,