为此，世宗一面封刘崇这个“侄皇帝”为“大汉神武皇帝”，一面征召部族兵马决定南征。然而，太宗耶律德光南征中原的失败，以致国力大损的教训在前，使辽朝内部众多的部族将领对此次南征很是排斥，他们纷纷以兵疲马瘦等借口，搪塞而不出兵。另一方面，自辽太宗死后到世宗即位的这四年来，由于世宗倾向汉化，甚至不顾契丹皇室旧俗，立汉女甑氏为后。甑后出自后唐宫女，有姿色，且严明端庄、风神贤雅，甚得世宗之宠，常常参与帷幄，密赞大谋，对世宗执政影响很大。但这却也成为辽朝内部的守旧势力，甚至是曾经拥立世宗的辽朝贵族攻击世宗的一大口实。
加之，自辽国立国以来，“一帐三房”耶律氏四帐皇族对皇位的争夺从来就没停歇过。而世宗的激进汉化政策加剧了皇族内部的矛盾，导致世宗在位这四年辽朝内部叛乱与谋逆之事接二连三：天禄元年（公元947年），不甘心失败的耶律李胡以述律太后的名义发动叛乱，祖孙双双被世宗幽禁祖州；二年正月，太宗庶子耶律天德、述律太后之侄萧翰、宗室惕隐耶律流哥等又发动叛乱，叛乱平定后，世宗杀耶律天德、杖萧翰、流放耶律流哥；次年初，侥幸逃过一命的萧翰与自己的妻子阿不里公主，也就是太宗妹妹再鼓动季父房的明王耶律安端叛乱，却为安端之子泰宁王耶律察割所告发……
按理说，世宗此时选择南征显然是有心无力，而且也是极其不明智。
