获释之后他在汉堡、荷兰等地逗留了一段时间，于1799年雾月政变之后才回到法国。拿破仑给他退休将军的年金，使他得以经营家族原本的产业，平静地度过了拿破仑皇帝十几年的统治时期，并未再涉足政治。

再后来，到了1815年拿破仑皇帝重新复辟，他选择参加了国民议会成为副议长，然而滑铁卢战败之后，他看到形势已经对法国极度不利，却又支持废黜掉拿破仑的皇位，让法国不再接受波拿巴家族的统治。

正因为他这一年的所作所为，他成了拿破仑皇帝在荒岛上到死都念叨的四大叛徒之一。

“在法兰西仍物力丰盈的时候，遭到了两次不幸的入侵，其后果应归咎于马尔蒙，奥热罗，塔列朗和拉法耶特的背叛。我宽恕他们——愿法兰西的后代也如此。”

可是对艾格隆来说，年迈的拉法耶特侯爵却并不那么刺眼。

虽然拉法耶特侯爵在之前和奥尔良家族合作，试图推翻波旁王家之后拥立奥尔良家族登上王位，但是那毕竟是“群雄逐鹿”，各有各的立场，并不算什么罪行。

而且，在艾格隆重返巴黎之后，当时担任巴黎国民自卫军的拉法耶特“识大体”，在和艾格隆短暂谈判之后，主动选择放弃抵抗，让艾格隆得以兵不血刃地夺回了首都，对艾格隆来说，他也算是立了一功，至少得到了不被清算的资格。

值得一提的是，在被解除职务之后，虽然计划失败，但拉法耶特的政治欲望并没有完全消失，他回到家乡参加了艾格隆组织的议会选举，并且以自己的威望当选了议员。

当时操盘选举的诺瓦蒂埃侯爵，暗地里问过艾格隆，让不让这位侯爵当选。

艾格隆直接就回复说不必针对他耍什么手段，毕竟他已经生不出什么事了，而且他的政治立场倾向于君主派，又和波旁王家势不两立，所以就算和波拿巴家族有恩怨，他一定也能够接受波拿巴家族的皇朝。

果然正如他所预料的那样，拉法耶特侯爵在成为议员之后，并没有加入到任何党派当中，只是以一个独立的、温和反对派的身份参与到议会事务当中，在议会发言当中，他对帝国政府确实有过不少批评之词，但主要是集中在政府“手段粗暴、压制舆论”等等不痛不痒的地方，对艾格隆和帝国政府主要的施政反而不做过多评价——可想而知，经过了几十年的沉浮之后，已经老去的拉法耶特，确实也不想再折腾了。…。。

对于这种只是在嘴上抱怨几句的无害反对派，艾格隆是非常能容忍的，正好可以显示自己的宽大为怀。于是两个人之间相安无事，甚至偶尔在公众场合见面的时候，艾格隆还会向这位“活化石”问候几声。

而和拉法耶特侯爵等人站在一起的是政府成员，为首的自然就是帝国首相塔列朗亲王。

这位更是重量级人物，虽然他曾经也是拿破仑皇帝的重臣，虽然他靠着皇帝才得到了亲王的封爵，但是在皇帝执政后期两个人已经完全闹翻，他几乎是被轰着从外交大臣的位置上赶下了台。