二人定下心来，便分别前往军中，联络宇文述的旧部。

虽然挂了名义上的领头的，但军中还是以实力为准。此时司马德戡手中握有万余精兵，又和元礼关系密切，若是宇文兄弟不能掌握一支独立的军队，到时候就是真成了皇帝，也得受制于人，沦为玩物。

宇文智及和宇文化及都没有什么军事才能，也没领过兵，但他们有一个好爹。

宇文述虽然贪婪又多谄媚，但这身军功也是当年实打实地打出来的。而且自杨广即位之后，宇文述做了十多年的武将第一人（黄明远名义上是宰相），门生故吏无数，关系遍布禁军各部。再加上骁果禁军已经对天子失望透顶了，于是经过宇文兄弟的联络，包括马举、元武达、李孝本、李孝质等一众人，尽皆附从。

此时的宇文化及造反集团已经对杨广形成了数量优势。除了黄维烈所部和已经出外击贼的左天成、沈光、麦孟才三部外，其余诸军，已基本投入到宇文化及的怀抱。

大厦将倾，便是如此。

此时负责宫中直接卫戍的是备身府，其实原本一同负责备身府的是右监门府将军宇文成都，但宇文成都因为士兵流亡事件被罢黜，备身府也分别由左千牛备身郎将独孤开远和右千牛备身郎将宇文皛二人分管。

独孤开远是杨广大舅赵国公独孤罗的三子，杨广的表弟。宇文皛是杨广妹妹广平公主和宇文静礼的三儿子。

二人俱是杨广的心腹，宇文兄弟根本无法拉拢。

于是宇文智及便放弃拉拢二人，专心拉拢下层的官兵。

为了进一步分化、瓦解备身府，司马德戡和宇文智及二人定计，派司马德戡麾下将领许弘仁、张恺二人前往备身府，逢认识的人便对他们说：“天子听说禁军想反叛，便酿了很多毒酒，准备利用宴会，把禁军全部都毒死，只和南方人留在江都。”

这种事，听听就知道是假的，如何能有毒酒毒死几万人。虽说谣言止于智者，但大部分都不是智者，所以谣言越传越广。

骁果禁军士兵听了都很恐慌，互相转告，更加速了反叛计划。

这时西线告急，左天成和杜伏威在六合东南的瓜步山相持。虽然左天成军事能力出众，但麾下的骁果禁军军心已乱，人心思归，根本无心应战。

于是左天成连战三场败北，一路败退到江都西面的白沙镇（今江苏省仪征市区）。眼看后面便是江都，左天成实在是退无可退，只得选择在白沙镇据守。

于是杜伏威将左天成牢牢包围在白沙镇，并命令大将王雄诞率部四面袭扰。

消息传到江都，朝廷一时哗然。

若是乱匪打到江都城，朝廷脸面还要不要。而且以现在江都乱糟糟的局势，如何守备。

于是虞世基便建议杨广命编制还算完整的陈伯图部向西挡住杜伏威匪部。

虞世基很清楚，一旦贼匪兵临城下，以他的名声，很可能人头不保。这时候为了保命，当然要拼命御敌。

朝廷一支支部队被派出，司马德戡部凭借是天子的心腹，反而一直留在江都，而且越发重要。

到了五月六日，眼看大局在握，宇文化及造反小集团，终于决定向杨广开刀。