跟随刘备回到荆州的孙夫人，其实也处在十分为难的处境，因为她毕竟是孙权埋在刘备身边的一颗定时炸弹，所以诸葛亮时刻提醒刘备要小心翼翼，稍有闪失可能就会命归西天。其实，孙权的这一招是一箭双雕，曹操听说后，吓得将笔掉在地上，曹操对孙、刘更不敢轻举妄动。不久之后，刘备占领了湖南一带，接着占领益州，即以四川为中心的广大地区。随着蜀国力量的壮大，蜀国占领荆州已经日益成为对吴国的威胁，孙权再一次强烈要求蜀国归还荆州。刘备取得益州后根本不想归还荆州，孙权便趁刘备西征入川的时候，悄悄给妹妹写信谎称吴国太病重，想将孙夫人和阿斗骗到东吴，然后用阿斗换回荆州。孙夫人不辨真伪，匆匆携阿斗登船回吴国，张飞、赵子龙闻讯追赶拦截，把阿斗留下，只放孙夫人一人回去。

重返吴郡的孙尚香才21岁，无论是正史还是野史均无孙尚香再嫁的只字片语记载，也就是说正富青春的她自此开始“寡居”生活。在此后的岁月中，孙尚香一方面承受的是寂寞孤苦，另一方面则背负着一种强大的精神压力。在东吴人眼里，她始终是敌对方元首刘备的夫人；在蜀汉方心中，她是里通东吴，有劫持人质之嫌。因此，刘备在蜀地称帝后，并未给她什么封号，而是册立偏将军吴懿的妹妹为皇后。刘阿斗继位后，也没追赠她为皇太后，蜀汉的史官仅称她为“夫人”，并未给她单独立传。

孙夫人一去，吴、蜀关系恶化，围绕着荆州上演了一幕幕的悲剧。刘备这时在蜀中站稳了脚跟，孙权又觉得要武力收回荆州希望渺茫。孙权又故伎重施，刚玩了大政治又玩小政治，希望与关云长结为儿女亲家，讨关云长的女儿做儿媳妇，被关云长拒绝，孙权更被关云长的“虎女焉配犬子”之语，气得昏了过去。在周密准备后，吴国年轻的将领吕蒙轻取轻敌的关云长，让关云长败走麦城，身首异处。之后，曹操死在洛阳，而张飞也被部将所杀。

孙尚香虽贵为破虏将军孙坚之女、吴大帝孙权之妹、蜀先主刘备之妻，但其人生遭遇却相当凄惨，沦为政治斗争的牺牲品。孙尚香何时郁郁而终，史书上并无明确记载。民间盛传其在刘备兵败身亡后，投江而死，九江、芜湖、南京、镇江等地均有孙夫人投江遗迹的传说，还为其建有不少祠庙，或称枭姬娘娘，或称灵泽夫人，这也许正是民间百姓对她的不幸遭遇的一种惋惜与同情,