黄明远毕竟是宰相，又威望显著，因此他不想让杨暕插手朝政，杨暕本人还真的无可奈何。朝政上插不上手，杨暕这个留守只是一个空名头，他本人也只得再次沉浸于声色犬马之中。

作为一个被宠坏的孩子，杨暕为人骄纵恣睢，又昵近小人。黄明远虽然斩断了杨暕插手朝政的手，但也不可能完全限制杨暕的日常生活，因此杨暕便派乔令则、刘虔安、裴该、皇甫谌、库狄仲锜、陈智伟等人寻求声色狗马。乔令则等人因此放纵，访得人家有美女的，就假传杨暕的命令叫来，送到杨暕府内，隐藏起来，恣意淫乱，然后抛弃。洛阳之中因为杨广的原因，胡人遍布，因此厍狄仲锜、陈智伟两人便向胡人抢取食物，勒索名马，得数匹马进献给杨暕。杨暕也知道父亲对胡人的重视，因此命他们送还主人，库狄仲锜等人却谎称是齐王的赏赐品，将马归为己有，杨暕本人却不知真实情况。

很快，杨暕的声名便越来越烂了。

不少人便建议黄明远上书天子弹劾杨暕，至少也不能让他做的太过分，但却被黄明远拒绝。陆贞、陈远等人不解，毕竟陆贞这里有杨暕无数的罪状，可谓是罄竹难书。

黄明远说道：“天子虽然讨厌杨暕，但毕竟是其唯一的嫡子，若无谋反等大罪，天子是不会处置杨暕的。我若是弹劾杨暕，反倒是让天子以为我容不下他。”

在黄明远看来，让杨暕在天子与天下人面前失分，本身就是打击杨暕的一个方式。杨佶等人做的越好，杨暕错误越多，人心便会越清楚，双方的地位便会逐渐易位，而胜利的天平也会落到杨佶这边。

没多久陆贞便向黄明远禀报，杨暕又搞了一个大消息，与人通奸。

杨暕的妻子韦氏，是原民部尚书韦冲的女儿，较早去世。而韦冲是北周名将韦孝宽的亲侄子，官拜民部尚书。

京兆韦氏，地位尊崇，是关陇世家汉人中最顶尖的门阀，有着“城南韦杜，去天尺五”的美誉。韦氏去世之后，杨暕没有新娶妻，但是却和韦氏的姐姐元氏妇（因嫁于元氏，故称元氏妇）搅和在了一起。二人私通，生下一个女儿，外人都不知道。杨暕暗中召引乔令则在府内设宴饮酒，乔令则为庆贺此事，甚至脱掉杨暕的帽子以助欢乐。杨暕又招来看相的人让他遍视后庭，看相的人指着元氏妇说：“这个生孩子的妇人要做皇后，王爷您富贵不可言。”

杨暕大喜，于是更宠信元氏妇，而元氏妇在齐王府上，亦如当家主母一般。

杨广这个人虽然骄奢淫逸，但是极其重声誉，好面子。一旦杨暕与人通奸的事情传出，必会引得杨广震怒。而且韦家地位崇高，为了身份、名誉，也会选择与杨暕决裂。

在陆贞等人看来，这是扳倒杨暕最好的机会了。

黄明远想了想，最终没有选择直接弹劾杨暕，而是让人将此消息放出去，先在京中人家传播。等到人所共知的时候，自然而然会传到杨广的耳朵里。到时候杨广想要捂住此事怕是也不可能了。

事依然要做，但不能是自己做。

虽然这些错处对于杨暕来说都未必一击致命，但日积月累，此消彼长，杨暕的太子梦怕是会落空了。