正好节度使梁崇义背叛朝廷，发动叛乱，德宗皇帝命淮西节度使李希烈前去讨伐。杨炎认为李希烈为人反复无常，坚决阻挠重用李希烈。
其时，德宗已经下定了决心，对杨炎说：“这件事你就不要管了！”可是，刚直的杨炎并不把德宗的不快放在眼里，还是一再表示反对用李希烈，这使本来就对他有点不满的德宗更加生气。
不巧的是，诏命下达之后，正好赶上连日阴雨，李希烈进军迟缓，德宗又是个急性子，于是就找卢杞商量。卢杞便对德宗说：“李希烈之所以拖延徘徊，正是因为听说杨炎反对他的缘故，陛下何必为了保全杨炎的面子而影响平定叛军的大事呢？不如暂时免去杨炎宰相的职位，让李希烈放心。等到叛军平定之后，再重新起用杨炎，也没有什么大关系！”
德宗果然听信了卢杞的话，免去了杨炎的宰相职务。
