顺治三年（隆武二年、1646年）五月。

大清征南大将军贝勒博洛乘虚突破钱塘江，绍兴、杭州、义乌、金华等城相继失守。

南明宗室乐安郡王、楚亲王、晋平郡王在金华殉国。

鲁王则在石浦守将张名振护卫下自台州出海到达舟山。

张煌言随即赶回鄞县故里，与老父、继母、妻儿子女诀别，追随鲁王一行至舟山。

但舟山总兵、隆武帝所封肃虏侯黄斌卿却拒绝接纳，鲁王只得逃往福建长垣。

不久，鲁王去厦门，张名振留舟山待机。

张煌言与张名振待局势稍定后，重返浙东与舟山地区，组织招募义军。

而张煌言被鲁王加授右佥都御史之官职。

顺治四年（永历元年、1647年）。

清苏松提督吴胜兆欲在苏州反正，起事前联络定西侯张名振支持。

张煌言劝张名振援吴胜兆，张名振遂命张煌言为监军，徐孚远副之。

于四月六日自岑江（即浙江舟山岑港）出发。

不料四月十三日在崇明岛外遇风暴而大败。

总督浙直水师户部左侍郎沈廷扬、总兵蔡聪（黄斌卿之妻舅）等将领十余人上岸后被清军俘获，于七月三日就义。

而张煌言也因飓风吹翻船舶，陷入清军之手七天，找到机会逃出到了海上。

在途经黄岩时，又被追赶的清军包围并以箭射之。

张煌言率领数骑突出包围，自此他更加努力练习骑射。

并在浙东招募集结义军于上虞县平冈寨屯田拒守。

其时，当地的多个山寨经常劫掠民众，唯独张煌言与王翊让他们的部下不要扰民，深得民众拥护。

顺治八年（永历五年、1651年）七月。

清将张天禄出崇安（今福建武夷山市）分水关，马进宝出台州海门，闽浙总督陈锦全军出定海，分路进攻舟山。

张名振、张煌言等奉鲁王入海出兵吴淞，牵制清军主力。

大学士张肯堂、安洋将军刘世勋、荡北伯阮进、左都督张名扬等留守。

此役舟山军民死难者达18000人，合葬定海城北龙峰山下。

事后，清将自承：“我军南下，江阴、泾县、舟山三城，最不易攻。”

顺治十年（永历七年、1653年）八月。

张名振和监军兵部侍郎张煌言带领五六百艘战船向北进发，来到长江口的崇明一带沙洲。

崇明城中的清军兵力有限，不敢出战，被围长达八个月。

明军以崇明和附近沙洲为基地，如清方一分档案中所说：

“筑圩耕种，近城十里之外，贼众充斥。百姓菜色相望，饥馑难支。为我用者恹恹待毙，为贼用者欣欣向荣。”

崇明产米之乡皆在平洋山前东、西阜沙，今被贼踞。

顺治十一年（永历八年、1654年），张军三次进入长江作战，这就是有名的三入长江之役。

顺治十二年（永历九年、1655年），张名振与张煌言合兵三入长江，抵燕子矶，因兵力单弱，无功而返。

乃会同郑成功部甘辉、陈六御等收复舟山，张名振缟素入城，遍觅母尸，哀动三军。