而高澄也领五千骑卒退往高凉，由冼英领蕃兵驻防高要城，保有这个威胁番禺的桥头堡。

陈霸先一连三日急行军，终于在第四日由探子回报，得知身后出现大规模的北齐骑卒。

原本以为是高澄中计，真的领军来袭，并在当夜于大营设伏，到了午后，果然营外声势大作，陈霸先及其麾下将士无不打起精神，等着齐军入瓮。

却不曾想光听见声响，却看不到动静，北齐骑卒们在营外喧嚣，敲锣打鼓，却始终保持了距离，不肯冲进陈军大营。

“齐人莫非看破了我等伏兵？”

大将侯安都疑惑道。

陈霸先眉头紧锁，他担心的不是齐军看破了今夜设伏，而是他们压根就没想袭营。

果然，这样的吵闹在五部齐军的轮番上阵下，一直持续到了天明。

一整夜都精神高度紧绷的陈军将士叫苦不迭，他们也曾出营驱逐这些齐军，但两条腿跑不过四条腿，只要陈军将士回营，齐军便会卷土重来。

又不能只派遣小股军士值夜，让其余将士休憩，若齐军真的来攻，单凭少量军士又如何抵挡得住。

陈霸先只得将麾下将士分成数部，轮流值夜。

当天陈军只走了三十余里，便扎营休息，将士们实在疲惫得很。

夜里，北齐骑军又来营外骚扰，陈霸先提前在营外布下伏兵，但还是没有逮住他们，当设伏军士回营后，齐军又带了锣鼓给陈军将士提精神。

陈军将士不堪其扰，士卒向将领诉苦，将领求陈霸先改弦易辙，就这样下去，别说奔袭三路齐军，再不调转方向，还不知道能不能回到番禺城。

对面齐军如此滑不熘秋，而他麾下缺少骑兵，陈霸先实在拿这些来去如风的北方骑卒没有办法，在得到高要方向送来的情报，得知高澄领数千骑兵退往高凉后，陈霸先终于放弃了诱敌的想法，挥师向东南，欲退回番禺。

韦孝宽沿途小心跟随，不断骚扰陈军将士，当然，这对北齐骑卒也是考验，但作为这场骚扰战的发起方，无论如何要好过陈军的精神状况。

二月二十八，陈军在经历了噩梦般的长途行军后，终于返回番禺，陈霸先于是一心增加番禺守备，试图支撑到入夏，以炎热的气候，逼迫齐军退兵。

毕竟齐军之中，多是北人，不耐酷暑。

三月初二，高季式与吴明彻先后抵达高要城，而高澄在得知陈霸先转道广州的情报后，也与同他汇合的斛律光赶赴高要。

三月初六，除去由闽地南下的段韶所部以外，南征的各路齐军，包括此前袭扰陈霸先的韦孝宽等五路骑卒，尽皆在高要城中会师。

高澄身边聚集有战兵十八万，其中三万骑卒以及高季式部五万战兵、斛律光部五万战兵、吴明彻部五万，外加冼英麾下四万蕃兵，共计步骑二十二万。

而原本追随各路人马南下的州郡兵，也都被分派在各地，驻防占领区。

翌日，高澄亲领二十二万将士东出高要，趋向番禺。

三月十四，高澄与段韶所部五万人在番禺城下会师，南陈国都番禺城被重重围困，除去蕃兵以外，番禺城外二十三万步骑也几乎是北齐大半的战兵数量。

高澄集结了如此多的部队，自然是要强攻番禺，此时已经顾不得战兵、州郡兵的区别，三月已经过去，也没有时间再让他垒土山、挖地道。