李德裕因为人正直，受到李训、郑注的嫉恨与排挤，九月李宗闵又被召回京师，拜为宰相，而李德裕则罢为兴元节度使。
他入宫自陈，表示不愿出居藩镇。李宗闵却表示诏令已经下发，不宜更改，不久李德裕又改任检校尚书左仆射、润州刺史、镇海军节度使、苏常杭润观察等使，再次出镇浙西。
李德裕到浙西后，奉诏将宫人杜仲阳安置在道观，杜仲阳是漳王李凑的养母，因漳王获罪，被放归润州故乡。
太和九年尚书左丞王璠与户部侍郎李汉联名上奏，称李德裕厚赂杜仲阳，结交漳王，欲图不轨，唐文宗便召王涯、李固言、路随、王璠、李汉、郑注等人到蓬莱殿，当面对证此事。
王璠、李汉极力证实，路随却道李德裕绝不会如此。如果真像王璠、李汉所说，臣也有罪，但李德裕最终还是被贬为太子宾客，分司东都事务，而路随不久也被免去宰相之职。
同年四月，唐文宗患病，宰相王涯召李德裕入京探疾，李德裕却逗留洛阳，没有前往长安。而这时，又有人告发李德裕，称他在西川之时曾征收三十万缗悬钱，使得百姓困苦。
李德裕因此被贬为袁州长史，后来李宗闵、李汉因结党被贬，王璠、李训也在甘露之变中被宦官处死。唐文宗这才对前事有所醒悟，知道李德裕是在党争中受到诬陷。
开成元年李德裕被授为银青光禄大夫、滁州刺史，后改任太子宾客，十一月，唐文宗又任命李德裕为检校户部尚书、浙西观察使，这是李德裕第三次出镇浙西。
开成二年李德裕又接替牛僧孺，出任扬州大都督府长史、淮南节度使。
开成五年唐武宗继位，将李德裕从淮南召回朝廷，拜为宰相，授其为门下侍郞、同中书门下平章事，当时唐武宗不理朝政，屡次出猎游幸，至深夜方才还宫。
李德裕加以劝谏，被册拜为司空，会昌元年四月，李德裕奏请改撰《宪宗实录》，命史官删除父亲李吉甫在元和年间不善的事迹，遭到时人非议。
此前，回纥被黠戛斯击败，部族分散各地，会昌元年八月，回纥嗢没斯部到天德军请求内附。
天德军使田牟、监军韦仲平贪求边功，想联合吐谷浑、沙陀、党项等部落，乘势出击。朝臣大多表示赞成，李德裕则竭力反对。
他认为回纥在平定安史之乱中有功，如今嗢没斯率部来降，秋毫无犯，应予以安抚，即使需要出击的话，天德军兵力不足，一旦交战失利，城池必然陷落。
如果他们骚扰边境，即可调动各道兵马讨伐。朝廷采纳了李德裕的建议，赐给嗢没斯部粮食二万斛，会昌二年回纥乌介可汗要求唐朝执送嗢没斯。
并索要粮食、牛羊，被拒绝后又提出借取天德城，朝廷不许，乌介可汗便率军越过杷头峰，进犯大同、云州等地，李德裕详细地分析了回纥的情况，建议唐武宗出兵征讨。
