正好节度使梁崇义背叛朝廷,发动叛乱,德宗皇帝命淮西节度使李希烈前去讨伐。杨炎认为李希烈为人反复无常,坚决阻挠重用李希烈。
其时,德宗已经下定了决心,对杨炎说:“这件事你就不要管了!”可是,刚直的杨炎并不把德宗的不快放在眼里,还是一再表示反对用李希烈,这使本来就对他有点不满的德宗更加生气。
不巧的是,诏命下达之后,正好赶上连日阴雨,李希烈进军迟缓,德宗又是个急性子,于是就找卢杞商量。卢杞便对德宗说:“李希烈之所以拖延徘徊,正是因为听说杨炎反对他的缘故,陛下何必为了保全杨炎的面子而影响平定叛军的大事呢?不如暂时免去杨炎宰相的职位,让李希烈放心。等到叛军平定之后,再重新起用杨炎,也没有什么大关系!”
德宗果然听信了卢杞的话,免去了杨炎的宰相职务。