李善长位高权重，是淮西官僚集团的核心人物，在他的力荐下，胡惟庸从宁国知县一步步爬上左丞相的位置，他们当政时，淮西集团在朝中居于统治地位，处处排斥不是淮西派的官员。朱元璋虽靠淮西势力起家，但也要笼络更多的人才为自己服务，他更怕淮西集团势力膨胀威胁皇权，这就造成了朱、李间的矛盾，也埋下了李善长悲剧的伏笔。

胡惟庸为相后，大权在掌，专行横断，明太祖以擅权、植党、枉法等罪状杀了胡惟庸，接着大兴党狱，株连三万多人。虽然没有追究李善长，但对他的怀疑、不满却与日俱增。“反臣”胡惟庸的脑袋早已“搬家”多年，突然有人跑出来，揭发李善长的弟弟李存义父子“实为胡党”，尽管圣恩仍如雨露，说“免死吧”，但对李善长来说显然已危机四伏。

已经77岁的李善长修房子，向信国公汤和借士兵300人干私活，汤和没同意还奏了一本，该年，李善长又为一个犯了罪的叫丁斌的亲戚求情，按照常理，这在当时本来是一件并不大的事情，可不知何故又闹到了朱元璋那里。皇帝下令审讯，而这个丁斌过去曾在李善长家服务，很奇怪，他没有就事论事，交待李丞相是怎样为他请托免罪的，却直往心惊肉跳的事上扯，即李善长家族与胡惟庸的瓜葛。

于是，朱元璋命令将李存义父子投入大牢，谁曾想，一拷问竟审出了胡惟庸谋反前，多次拉拢李善长的事，虽前两次都被拒绝，后来李善长弟弟李存义在胡惟庸的说服下，也来做哥哥李善长的工作，李善长说了一句“我老了，等我死后，你们想怎么干就怎么干吧。”结果被毫无疑问地被归属到了胡惟庸谋反集团里了，于是，等待李善长的就只能是接受处罚了。

朱元璋斥责李“元勋国戚，知逆谋不举，狐疑观望，心怀两端，大逆不道”，赐缢死，终年七十七岁，其全家七十余口一律处斩。朱元璋手诏条列其罪，为昭示奸党三录，布告天下。虞部郎中王国用上书为李喊冤“善长与陛下同心，出万死以取天下，勋臣第一，生封公，死封王使善长佐惟庸成，不过勋臣第一而已矣今善长已死，言之无益，所愿陛下作戒将来耳。”太祖看了竟无话可说，明代史家郑晓、王世贞等人都对李善长参与谋反持否定态度。,