李德裕太孤傲严肃了，太不怒自威了，这叫宣宗深深地忌惮。每次上朝，看到李德裕，宣宗往往“寒毛倒竖”。这样的君臣关系算是没法处了。宣宗继位没多久，李德裕就被打发到东都洛阳，虽然丢了宰相之位，却还不算被贬官。尽管如此，李德裕心里还是不踏实。他曾向一善于预测的僧人问吉凶之事，僧人指出李近期将有灾难，会被贬到更遥远的南方，且南行之期月内即见分晓。
李德裕郁闷，努力说服自己不要相信。
“不相信？那这样，我们做个实验。”僧人说着，一指地下，“此地下埋有一石盒。”
李德裕立即叫人挖掘，果得一石盒。李德裕大惊，问：“贬至南方既然不可免，那么我想问一句，还有回旋的余地吗？”
僧人道：“还有这个机会。”
僧人又道：“您这一生，应吃一万头羊。到现在为止，您已吃了九千五百头。也就是说，以后还有吃五百头羊的日子，官位未绝。”
