黄君汉对翟让说道：“法曹交友便天下，天下之大，何处不能去？”

翟让再三拜谢，又说道：“翟让今日蒙受景云的再生之恩，才得以幸免，感激不尽，可景云就这么放了我，又该如何向上级交代？”

这时黄君汉勃然大怒道：“我本以为你翟让是个大丈夫，可以拯救黎民百姓，所以才冒死来解救你，可你现在却像一个妇人一样，优柔寡断，絮絮叨叨，如何能成大事？我自有办法去给上级交代，倒是你，别忘了‘替天行道，扶危济贫’的誓言。”

翟让向黄君汉磕了一个头，说道：“来日，翟让必不负景云。”说完便匆匆离去。

翟让离开监狱，偷偷潜入家中。这时好友贾雄建议翟让带领家中佃户、奴仆，前往瓦岗山（今河南滑县南）为匪。

瓦岗山离着白马县城和翟让的老家韦城（治所在今河南滑县东南）不远，山势雄险，易守难攻，方圆数百里，土地肥沃。

贾雄知晓阴阳，擅长占卜，深得翟让信任重用，翟让对他言听计从。他认为现在大灾之年，流民遍地，百姓无处乞活，正是人心思变的时候。

而天子无道，昏庸暴虐，不恤民力，天下人苦不堪言，此时如枯木干柴，一旦有星点的火花，便能燃烧整个天下，此正是天下大乱的格局。天下将乱，正是英雄辈出的时代，现在抢先占据一方势力，将来无论是退是进，都有选择。

翟让作为中下层的实力人物，眼看大隋底下一日烂过一日，早就有心谋立，因此在贾雄劝说之下，翟让便带着兄长翟弘、侄子翟摩侯、亲信王儒信等人，前往瓦岗山自立起事。

翟让在东郡之地，本就声名远扬，蜚声在外，因此郡中犯法亡命之徒，纷纷前来投奔。而东郡因水灾活不下去的老百姓，也纷纷前来投奔。

翟让的好友单雄信骁勇矫健，擅长骑马使矛，闻听翟让在瓦岗山起事，他便招集年轻人前去投奔翟让。

离狐（今山东省菏泽市东明县）人徐世勣家在卫南，十七岁，也是当地的土豪，家多僮仆，积栗数千钟。其人有勇有谋，也前来投靠翟让，他们以瓦岗山为根据地，故称瓦岗军。

瓦岗山虽然险峻，但并不是长久的根基之地。

瓦岗山人数日渐增长，翟让也每感山中供应不足。但若是让他们前去攻打城池，其势力也不足。

同时李孝贞知道翟让起事之后，便调集部队前往前往瓦岗山围剿。因山势险峻，李孝贞屡次进攻瓦岗山，皆是损兵折将，不能成功。因此李孝贞便下令断绝通往瓦岗山的各处道路，坚壁清野，以打击翟让所部。

这时徐世勣便劝说翟让道：“东郡对于您和我都是乡里，那里的人我们大都认识，实不宜去侵犯他们；荥阳郡、梁郡，是汴水流经的地方，畅通南北，我们可以在此打劫过往的行船商人旅客，足以自给。”

翟让大喜，便率众从瓦岗山突围，直趋荥阳郡、梁郡的境界，靠着运河，打劫往来的公私船只，因此供给充裕，来归附的人越来越多。徒众达一万余人，所部多为渔猎手，善使长枪。

至此，瓦岗军的势力急剧扩大，开始在中原地区攻略城池，成为中原之地一支重要的农民军。