开皇十八年，王世积的亲信皇甫孝谐犯罪，逃到王世积处乞求他救命，世积拒绝收留他。皇甫孝谐最终被抓，并被发配桂州，临行前他检举王世积阴谋叛变。

王世积跟高颖和元胄等人关系很好，在审问的时候，有一些宫中秘闻，王世积说是从高颖那里得知的。

听到这个消息，文帝杨坚大吃一惊：“高大人怎么可能如此不谨慎的，寡人一向对他信任有加，他竟然辜负了寡人的信任，真是让寡人伤心。”

以前有人状告高颖谋反，文帝不问内情直接下令杀了告密者，这次却说出了伤心的话语。

风向变了，善于见风使舵的有关职掌官吏又上奏说：“高和左右卫大将军元旻、元胄，都与王世积交结往来，并接受了王世积赠送的名马。”

文帝杨坚没有犹豫，果断下令追究高颖等人的罪行。

左卫大将军元旻、右卫大将军元胄被朝廷罢免了官职。

上柱国贺若弼、吴州总管宇文、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等一些跟高颖交好的朝廷重臣纷纷上奏申明高无罪。他们的行为让文帝杨坚疑心渐生，怀疑他们结党营私，更加发怒，下令将这些为高颖等人求情的人交付执法官吏问罪，表明自己绝不徇私枉法的决心。

此时文帝杨坚的态度已经非常明了，聪明的人都选择了自扫门前雪，只有不识趣的刑部尚书薛胄想依据刑律条文为高颖辨明洗清冤屈，公正的对此案发表了意见。此事违背了皇上的旨意，他被戴枷囚禁起来，很久才赦免了他。

杀一儆百，薛胄被抓之后，百官群臣没有人再敢为高说情。

秋季，八月癸卯（初十），文帝杨坚正式下诏罢免了高颖的上柱国、尚书左仆射官职，法外容情给他保留了齐国公的爵位，让他带着齐国公的爵位回家养老。

高颖被免，意味着太子党在朝野之中失去了最大的支持着，也意味着太子杨勇的废黜不可避免。

太子杨勇被文帝杨坚打压，这让晋王杨广产生了危机感，虽然他很高兴看到这种局面，但他做事更加谦虚谨慎起来，知至知终都把自己摆在从属的地位，生怕引起文帝杨坚的猜忌。

文帝杨坚对杨素等人的反应很满意，他故作姿态道：“寡人顺应天意，代天执掌天下，如今上天又做出了指示，寡人不得不从。”

舆论战如火如荼地在中原大地燃烧的同时，文帝杨坚也在不遗余力地采取行动消减太子东宫的势力。

“启奏父皇，太子右卫率苏孝慈等人结伙，密谋声援东宫。”晋王杨广私下里向文帝杨坚汇报道。

“寡人刚刚露出点顺应天意的口风，他们就开始结党营私，实为不忠！”文帝杨坚怒道。

“儿臣以为此事宜疏不宜堵。”晋王杨广谏言道。

“如何疏？”文帝杨坚考问道。

“太子府里的能人志士说到底还是父皇您的臣子，他们不应该只为太子哥哥服务，故此儿臣希望父皇能选贤任能将他们安排到合适的职位上去。”晋王杨广略微想了一会儿之后回答道。

文帝杨坚虽然疑心很重，但他不是个暴君，也没想着把所有反对自己的人处死，故此他点了点头，下令将苏孝慈调出京城，改授淅州刺史。

看到帮自己说话的文官武官陆续被调离长安，太子杨勇的心里明白自己的大势已去，再做任何的挣扎都是多余的了。

太子杨勇消停了一段时间，晋王杨广的心却依然没有放下来。他安排杨素谏言文帝杨坚在大兴宫北玄武门到宫城东北隅的至德门之间，每隔几步就设置一个候人，来观察东宫的动静，事无巨细都要随时奏闻。

全方位高密度的监视让文帝杨坚的心安稳了许多。

面对杨勇太子地位摇摇欲坠的境况，宰相高颖选择了沉默。

可他此时选择沉默已经晚了，已经不能再让文帝杨坚安心了。

随着文帝杨坚废太子步伐的一步步推进，天时地利人和都准备好了之后，文帝杨坚寻了个借口，把废太子的最大阻力，太子杨勇的亲家，大隋第一宰相，左仆射高颖罢免了。

高颖一直以为自己是文帝杨坚身边最受信任的人，文帝杨坚曾当众夸赞他道：“高大人文治武功无人能及，参谋帷幄之中，决胜千里之外”