刚开始杨广对这个侄子还不以为意，一个贱婢生的杂种，能做什么，不过是圣人可怜他才封他一个王爵给慜太子承嗣而已。无外乎杨广看不上这个侄子，其他人同杨广一样众人都知道杨坚夫妇对这个长孙看不上眼，所以杨俨能够留在大兴宫虽然让众人吃了一惊，但其实也并不多关注。

不过很快这个侄子就送给自己的好二叔一份新手大礼包，让杨广笑不出来了。

在十一月底，东路军副帅上柱国太平公史万岁从朔州返回，不过也没什么权利，跟个打酱油的一样。本着斩草除根、清理叛徒的想法，在杨勇谋反之后，杨广、杨素二人准备对史万岁发动一场围攻。

杨素亲自面见杨坚说道：“此次西路军遭逢大难，差一点被步迦可汗围歼，正是因为史万岁故意装作没有发现突厥人的动向，也不对转移向西的突厥军队进行阻拦，这才让突厥军从容西进，致使西路军损失惨重。史万岁率领十余万大军，坐看敌军来去，畏惧不前，心怀不轨，差一点坑害我三军，怕是有谋反作乱之心啊。”

杨坚对此也有疑惑，不过史万岁毕竟是一员大将，便想着搁置再定。

不过后来杨坚看到了史万岁的表功奏章，便感到不高兴了。

此时正值杨勇叛乱围攻大兴殿后，杨坚正追究太子杨勇的党羽。第二日早上，杨坚问史万岁在哪里，当时史万岁实际就在朝堂之上，杨素却说：“史万岁拜谒东宫去了！怕是与东宫有什么牵扯未完。”以此来激怒杨坚。

当时杨坚激怒，下令要把史万岁处死，便将史万岁给关押入狱。

没想到之后发生地震，杨勇自杀，史万岁反倒没被处死，一直待在狱中。杨坚偶然想到史万岁，便招史万岁来见。史万岁部下的将士有不少被杨素划到太子一党中，在朝堂上声称冤屈的有好几百人，史万岁对他们说：“我今天为你们对圣人把事情完全讲清楚，问题就会解决的。”

本来杨坚和史万岁的见面双方都抱着希望，可是史万岁的性子太直，不会说话。他见到杨坚之后，不提自己被下狱的事情，反而跟杨坚说道：“将士有功却被朝廷压抑！冤屈者不计其数！”词措严厉，语气愤怒，令本来就对史万岁有看法的杨坚是勃然大怒。

晚年脾气暴躁的杨坚立刻就指使身边的侍卫将史万岁金瓜打死。这时候眼看史万岁要丧命，自愿给杨坚充当侍卫的杨俨便立即上前责骂史万岁一通，又按着史万岁的脑袋让史万岁给杨坚道歉。

史万岁再是胆子大，看到杨坚要自己锤杀自己，心中也是一惊，赶紧顺着杨俨的台阶下来求饶。杨俨又上前对杨坚劝告一般，最终让暴怒的杨坚消了气。

气消之后的杨坚见自己差点要杀了史万岁也是后悔不已。现在太子杨广和杨素亲近，在军中的威望合起来已经超过了自己。这史万岁本来就是杨坚提拔起来威慑杨素的，他一时不慎却是差点毁了这个棋子。

双方平下心来，杨坚才发现史万岁的所言不虚，果然这太子党羽的追缴有扩大化的趋势，一些平日里属于杨素的敌对势力的将领都被杨约给牵扯进来，闹得底下众将士是人人自危，杨素却是在大势扩充实力。杨坚心中异常不满，觉得杨素已经完全投向了杨广，更是已经威胁到了自己的安全。

杨坚似乎有些不想再忍了。