宗泽十分焦急，亲自渡过黄河，约河北各路义军将领共同抗击金兵。他在开封周围，修筑二十四座堡垒，沿着黄河设立营寨，互相连接，密集得像鱼鳞一样，叫做“连珠寨”，加上河东、河北各地义军民兵互相呼应，宋军的防御力量，越来越强了。
宗泽一再上奏章，要求高宗回到开封，主持抗金。但是奏章到了黄潜善等手里，这批奸人竟取笑宗泽是个狂人，把他的奏章扣了下来。过了不久，宋高宗就从南京逃到扬州去了。
没有多久，金兵果然又分路大举进攻。金太宗派大将兀术（音ｗùｚｈú，又叫宗弼）进攻开封，宗泽事先派部将分别驻守洛阳和郑州。兀术带兵接近开封的时候，宗泽派出几千精兵，绕到敌人后方，截断敌人退路，然后又和伏兵前后夹击，把兀术打得狼狈逃走。
又有一次，金将宗翰率领金兵攻占洛阳，宗泽派部将郭振民、李景良带兵袭击宗翰，打了败仗。郭振民向金军投降，李景良畏罪逃走。
宗泽派兵捉拿到李景良，责备他说：“打仗失败，本来可以原谅；现在你私自逃走，就是目中没有主将了。”说完，下令把李景良推出斩首。
郭振民向金军投降之后，宗翰派了一名金将跟郭振民一起到开封，劝宗泽投降。宗泽在开封府大堂接见他们，对郭振民说：“你如果在阵上战死，算得上一个忠义的鬼。现在你投降做了叛徒，居然还有什么脸来见我！”说着，喝令兵士把郭振民也斩了。
宗泽又回过头对劝降的金将冷笑一声，说：“我守住这座城，早准备跟你们拼命。你是金朝将领，没能耐在战场上打仗，却想用花言巧语来诱骗我！”
金将吓得面无人色，只听得宗泽吆喝一声，几个兵士上来，把金将也拉下去杀了。
宗泽一连杀了三人，表示了抗金的坚定决心，大大激励了宋军士气。他号令严明，指挥灵活，接连多次打败金兵，威名越来越大。金军将士对宗泽又害怕，又钦佩，提到宗泽，都把他称做宗爷爷。
宗泽依靠河北义军，聚兵积粮，认为完全有力量收复中原，接连写了二十几道奏章，请高宗回到开封。不用说，那些奏章都被黄潜善他们搁了起来。
这时候，宗泽已经是快七十岁的老人了，他受不了这个气，背上发毒疮病倒了。部下一些将领去问候他，宗泽病已经很重。他张开眼睛激动地说：“我因为国仇不能报，心里忧愤，才得了这个病。只要你们努力杀敌，我死了也没有遗憾了。”
将领们听了，个个感动得掉下热泪。大伙离开的时候，只听得宗泽念着唐朝诗人杜甫的两句诗：“出师未捷身先死，长使英雄泪满襟！”接着，又用足力气，呼喊：“过河！过河！过河！”才阖上眼睛。
开封军民听到宗泽去世的消息，没有一个不伤心得痛哭流涕。
宗泽去世后，宋朝派杜充做东京留守。杜充是个昏庸残暴的人，一到开封，把宗泽的一切防守措施都废除了。没多久，中原地区又全都落在金军手里。