但平生劉宴口碑不差，朝野上下，心中一致都認爲劉晏冤枉。有幾位與劉宴交好的官員替他申冤，均惹怒龍顏，加上楊炎排斥駁回，不再有人敢於發言。
若是郭子儀在朝，他還敢直言諫君，可惜他如今年邁，臥病在榻，不參朝政許久。
謹終奉君王了結劉宴，執行任務原本不該多心，只是後來覺察到楊炎異樣，日益思及此事，都覺得冤枉了劉宴。
思前想後，謹終還是決定將楊炎的異常告知君王:“陛下，荊南節度使庾準極其巴結楊炎，他們一唱一和無中生有劉宴結兵造反，楊炎此人萬不可信。”
“嗯，知道了。”礙於帝王的驕傲，李適面無表情，不想去承認誤殺劉宴的過失，案牘勞形，他忙碌地批閱起奏摺來。
順手展開的，是平盧節度使李正己的奏摺，狼毫銳利，陳辭鋒芒，上表的敘述內容還是以往所呈過的。
李正己本就因自立爲統帥的劉文喜被害死而恐懼生怖，這下劉宴之死更令他心頭添了一層焦慮，就連屋頂上的風嘯嘯飛過，李正己覺風聲鶴唳，草木皆兵。爲此，他多次上表朝廷，詢問劉宴何罪被殺。奏摺展開，李適眉頭緊鎖，能從言辭中覺察到李正己對唐廷的不滿。
彼時謹終想起所聽聞的，未免使君王動氣，試圖要委婉講出來:“陛下，楊炎擔心自己被視爲陷害劉宴的罪魁禍首，就派遣使者前往各鎮，說殺害劉宴是……不是他的想法。”
李適揚起眉眼:“哦？那他認爲是誰的想法？”
“是……是陛下的想法。”
還是無法委婉，最後一話咬牙切齒，謹終關切地望向龍顏，果不其然，李適吊眉鋒利，胸中怒火大起，“爲了自己的名譽，楊炎這是要將一切過錯往帝王身上推嗎！”
謹終又忙表示自己只是道聽途說，皇帝就派宦官竇文場到李正己那裏覈實情況，幾天之後得來的果然如此！
自此，皇帝開始厭煩楊炎，逐漸產生了誅殺楊炎的想法，但暫時還隱而未發。先是提升盧杞爲門下侍郎，剝奪了楊炎的實權，改任爲中書侍郎，兩人一同共事。
這日李適着實爲藩鎮頭疼，遇上樑崇義割據襄漢七州之地，居功自傲自己開山做大王！常常輕蔑於朝廷，不申報地方戶口，不納稅上貢，更是坦言如今新君都得禮讓他三分！
對此楊炎提出策略，派自己的黨羽李舟去勸說梁崇義，結果梁崇義頑固不聽，覺得皇帝在責其不臣之心，朝廷在挑釁他的實力，惹得他血盟一弒，決意擴大鎮守之地，發起叛亂，起兵攻打江陵。
朝臣議論起來，都歸罪於楊炎，稱他獻計求和無果反惹得叛亂，得不償失，認爲是楊炎促成梁崇義反叛。
梁崇義發起反叛，朝中商討對策，皇帝欲任命淮西節度使李希烈統領各軍討伐梁崇義。
楊炎聽聞之後勸諫：“陛下，李希烈的仕途主要依靠養父李忠臣，深得養父的信任最後卻過河拆橋，驅逐養父並奪取其位置。陛下，李希烈就是隻白眼狼啊！沒有立功前已是桀驁不馴，假使他平定了梁崇義，您拿什麼來控制他？”
在此之前，梁崇義的叛亂已經引發不少對楊炎的非議，加上這事楊炎對方打壓李希烈，皇帝對他更加不滿，對楊炎的勸諫全然不信，派李希烈抗敵已是不二人選。
此後，李希烈因天氣原因而推遲進軍，盧杞捉得了茬，心眼如生了瘡的蓮藕，忙報陛下:“李希烈聽說自己被楊炎多次阻撓陛下重用，如今纔不肯進軍，請求陛下撤去楊炎的宰相實權，以此鼓舞李希烈進軍。”
事發有月餘，楊炎被改任爲左僕射，實權剝奪。
李希烈也不負朝廷所託，討伐梁崇義一戰捷報頻傳，擊潰叛軍。
朝廷沉浸在喜悅的氣氛中，李希烈並未以功挾朝廷，一切歸爲平靜。皇帝覺得，這越發驗證了楊炎先前的勸諫疏漏多餘。
一來二去，君恩耗盡。有了間隙，皇帝對於楊炎其他勸諫以及舉薦官員的議論都覺不爽。尋到由頭最後一錘重擊，罷免了楊炎的宰相之職。