1987年,中共十三大召開前夕,上海市委前書記芮杏文和時任上海市長江澤民的瑜亮情結已經發展到難以合作的地步。晚年芮杏文心裡最不平的,是1991年他出任中國國家計委副主任,當時他去找老搭檔江澤民問:“1989年把我撤職,現在又讓我出來工作,我究竟犯了什麼錯誤,組織上總該給我一個正式的結論。”想不到江澤民的答覆是:“攤上你了,算你倒楣!”
中共上海市委前書記芮杏文,給人的印象是重行不重言,不喜歡別人的阿諛奉承——不僅對部屬如此,即使對北京來的元老、中共中央領導人或高乾子弟也從不拉關係,他後來的政治前途亦正是因此受到影響。芮杏文一直被外界視為中共黨內堅定的“改革派”,與時任上海市市長的江澤民工作不合。
1987年11月至1989年6月,芮杏文出任中共中央書記處書記,主管意識形態工作,曾兼任中央宣傳思想工作領導小組副組長,是時任中共中央總書記趙紫陽的得力助手。六四事件發生後,芮杏文隨趙紫陽、胡啟立、閻明復等改革派人士一同下台。1991年4月復出出任閒職,任國家計委副主任。
中國大陸媒體《南方人物周刊》2013年第2期刊發魏承思撰寫的文章《老書記芮杏文》,披露了芮杏文與江澤民的矛盾。
文章記載:“1987年,十三大召開前夕,芮杏文的秘書譚大同和另外一位領導的秘書三天兩頭給宣傳部打電話,了解香港傳媒有關十三大的消息。因為工作需要,我分管的宣傳部資料室是全市訂閱海外報刊最多最全的。我知道,他們想要的就是誰留誰走的消息。領導本人是絕對不敢去北京打聽的,只有從海外媒體捕捉一些出口轉內銷的小道消息。最後芮杏文被調走,出任分管意識形態的書記處書記。後來有某元老子弟告訴我,他們都覺得芮杏文架子大。徵詢意見時,元老們自然都不站在他一邊。芮杏文北上前接見黃安國說,最遺憾的,是沒有重用你們這批少壯派,許多事情難以推動。否則,上海改革的步子還可以邁得更快些。”芮杏文到北京後,我們的接觸就很少了。1999年,我聽說他的健康每況愈下,就在譚大同的安排下,去北京看望老書記。杏文告訴我,他的晚年生活非常平靜,每天就是看書,看電視,有時到河邊去釣魚。心裡最不平的,是1991年中央讓他出任國家計委副主任。當時他去找有關領導說,現在重新讓我出來工作,組織上總該給我一個正式結論吧!想不到得到的答覆是,“攤上你了,算你倒霉”。我想,這是芮杏文這樣一個為黨的事業奮鬥了一輩子的老幹部至死都沒能想通的。