杨素见皇后动摇，便趁机煽风点火：“皇后，我并非故意挑拨离间，只是实事求是。太子的所作所为，确实让人担忧他是否能承担起一国之君的重任。皇后，您可要也要替杨家的天下慎重考虑啊！”
皇后沉默不语，心中疑虑更深。
这时，杨素又适时地送上一些冷言热语：“皇后，臣杨素虽然在外廷为官，但一直把您当作自己的亲人。今天之所以提及此事，是希望能为您分忧解难。皇后，您可一定要为我国着想，为皇上的江山社稷谋划啊！”
独孤皇后心中愈发不满太子，认为杨素言之有理。她思前想后，终于下定了决心，对杨素说：“杨素，你说得对！我会再考虑考虑你的建议的。”
杨素听后，连忙拜谢：“皇后英明，百姓有福了！”
更有某日，皇后私下里找到杨素，告诉他：“你上次的话我想了很久了，说的很有道理。我知道你是朝廷中最受信任的的重臣，如今我也有意废黜太子，改立晋王。这是我的一点心意，也是对你忠心上谏的奖励，你且收下吧。”说着，她递给杨素一个精美的盒子，里面装满了金银珠宝。
杨素本来是期望皇后能助他一臂之力，达到目的的。没想到这么顺利，如今皇后反而需要跟他联合。他心中暗自窃喜，知道此事就快要能够成功了。于是，他更加放心大胆的开始在隋主面前有意无意地挑拨离间，添油加醋地说太子的不是了。他告诉隋主，太子身边聚集了一群阿谀奉承之徒，行事越发骄纵，恐怕不利于江山社稷。
与此同时，杨素还每日指使宦官和官妾在隋主耳边吹风，一句一句地诋毁太子。他们或在隋主劳累时送上温水，或在隋主用餐时提及太子的不是。渐渐地，隋主也开始对太子不满，而且这种不满的情绪越来越深，杨素知道了则在暗中窃喜。
一日，隋主与皇后闲谈时，不自觉地提到了太子的不是。皇后感到惊讶，问：“皇上，勇儿确实有点过分，他宠信小妾，还想害死广儿，确实小肚鸡肠、不堪重用！不过您怎么也突然对太子如此不满？”
隋主叹了口气，说：“皇后，我原本也觉得杨勇只是年轻气盛，但近日来，宫中传闻不断，让我不得不疑心他的品行了。”
就这样，在独孤皇后、杨素等人的精心策划和推动下，太子的地位日渐不保，终于走到了尽头。
开皇二十年（公元 600年）十月，隋主在武德殿颁布诏书，宣布废黜太子杨勇，贬为庶人。太子的儿子长宁王杨俨上疏请求跟随父亲，隋主见他孝顺，本来对他已经有了怜悯之情，却也因为杨素的阻挠而作罢。
与此同时，五原公元旻和文林郎杨孝政却因为劝谏隋主，反对废黜太子，也遭到了杨素的打压。最终纷纷被定罪处斩。至此朝中大臣们人人自危，再无人敢站出来反对此事。杨素也暗自高兴，自己的权力和富贵有希望可以这样一直稳固下去了。
到了十一月，杨素趁热打铁，劝说隋主立晋王杨广为太子，得到了隋主的同意。同时，他还安排宇文述担任东宫左卫率，负责保卫太子的安全。
晋王接到旨意后，立刻上表谢恩。并尽快选择了一个吉日，与萧妃一同朝见父王母后，然后移居东宫禁苑，侍奉父母，表现得十分孝敬。
隋主见到晋王如此孝顺，心中十分欢喜。他也开始相信，晋王确实是太子的不二人选，能够继承大统，延续国家的繁荣昌盛。于是，他对杨勇的愧疚心也就渐渐淡漠了，国家政局短期内也逐渐恢复了平静。
