黄维扬兄弟替母亲告病，因为兄弟二人在，杨广自是允了此事。而黄维扬又趁机以照顾母亲为由，将妻子长孙观音婢留下。

至于清河公主，身份特殊，黄维烈有心不让她去，但这却是不可能的。

斛律敏儿和七七都带着孩子去了幽州，而陈婤这种有诰命的妾室，黄明远不去，裴淑宁也不去，她自不用去。

此时黄维烈骑在马上，一身戎装。身为折冲郎将，便护卫在天子身边。父亲之前来信让他入职军中，尽量掌控一支兵马，黄维烈遂申请入军。

他虽然才十三岁，年纪尚幼，但因为去年雁门之围中突出的表现，身在军中，也没人敢轻视。

听到杨广的话，黄维烈便回道：“臣此次护卫天子，必不辱吾父英明。”

杨广大笑道：“勇气可嘉啊。”

折腾了一上午，一众人终于成行，文武百官，内侍、宫女，僧侣护卫，还有眷属，总计十多万人。

杨广此次离京，很多不能跟着一起去的嫔妃、宫女便在送行地队伍高喊。

杨广倒是听得心有戚戚，于是作诗道：

“我梦江南好，征辽亦偶然。

但存颜色在，离别只今年。”

一众宫女听了，也齐齐吟诵，倒是让人潸然泪下。

黄维扬听到杨广的诗，心中念道：“天子之诗，透露出弄弄悲意，倒像是一首自述，着实不祥。‘离别只今年’，不知道还能不能回来。”

杨广这次南下，要带的人太多了，甚至被贬为庶民的苏威，也要带着。幸好裴蕴、虞世基等人言苏威“老悖且多昏聩之言，恐不能用”，杨广遂罢。

苏威的确已经病重到时日无多了，至少旁人看到的是这样。

不过等杨广的銮驾离开之后，苏威的病竟然好了。

原来苏威之前故意触怒杨广，便是不想跟着杨广南下江都。他早就看出了杨广怕是要大厦将倾，他自不愿随杨广殉葬。

于是苏威便带着孙儿、家人，匆匆离开北邙，投黄明远而去。

此时杨广向东，盗贼已经出现在洛口仓一带。虞世基请求杨广增加援兵，杨广却嗤笑道：“卿是书生，定犹怯也。”

不过杨广还是听从了虞世基的建议。他到达巩县后，命令有关部门将箕山、公路二府移到洛口仓内，并命令修筑城池以备不测。

杨广南下，多有官员阻拦。

杨广到达汜水县（今河南省荥阳市西北汜水镇）后，奉信郎王爱仁又上表请求杨广返回西京长安，杨广杀死王爱仁又继续南行。

杨广到了梁郡，这时梁郡又有人劝阻，并上书杨广道：“天子若遂幸江都，天下非天子之有！”

杨广又把人杀了。

至此，文人士子，再无人心向杨广。