公元1129年十月八日，赵构再次回到杭州，在杭州没呆十天，听前方吃紧，忙渡过钱塘江，两天后赶到越州（浙江绍兴）。
金军东西两路发起了凌厉攻势。先看西路军：
完颜拔离速等从河南南下，攻下蕲州（湖北蕲春）、黄州（湖北黄冈）后，再行南下，攻江州（江西九江）。当时刘光世移守江州，每天设宴盛会，夜夜笙歌，好不快活。金军强渡长江三天，他竟然不知情。等金西路军到了江州城下，刘光世慌忙领兵出逃，刘光世后来被列为南宋“中兴四大名将”，真是浪得虚名，名不副实。
刘光世路过洪州（江西南昌），此时孟太后在洪州，刘光世一路护送到虔州（江西赣州）。
知江州闻防守长江的刘光世跑了，也弃城走。金人占领江州后，一路南下，攻陷了临江（江西樟树）、抚州、袁州。十一月十八日，杀到了江西南部庐陵（吉安）。知庐陵也弃城而逃，吉安进士胡铨，刚授予“抚州军事判官”，在家没来得及上任，于是组织乡民保家卫国，在庐陵城坚守，竟然守住了庐陵。可见，不是打不赢，而是你敢不敢打。
再看兀术的东路军。十月二十三日，兀术取寿春府（安徽寿县），十一月初一日，犯庐州（安徽合肥），知庐州李会投降。
四日，攻和州（安徽马鞍山），知和州李俦投降。
五日，逼无为军（安徽无为），知无为军李知几弃城跑路。
十八日，破溧水；十九日，下太平州（安徽当涂）。
二十日，兀术的前锋打到了建康城外西南的马家渡，杜充命统制陈淬、王夑、岳飞等应战，激战中，王夑首先吓得开溜，陈淬败退战死，岳飞独木难支，只得撤回。
金军东西两路势如破竹，前方战报陆续呈到赵构御案，赵构只觉得头晕目眩，为了激励士气，十一月二十三日，赵构下诏亲征，诏辞里说：
国家连年征战，他为国为民，所以忍辱负重，向金国低三下四，甘受屈辱，去尊号，用臣礼，竭尽全力，就算一块石头，也应该受感动。可金人到现在还不肯放手。金人一定要用兵，倾我宗室，杀我国民，抢我财物，我也不会爱惜自身，亲上战场，和他一战。但愿各位将士，念国养之恩，二圣之辱，杀戮之祸。与其坐以待毙，不如同心协力，奋勇杀敌，保全国家。
说得是义愤填膺、感天动地！
二十五日，赵构从越州出发，打算亲征。走到杭州钱清镇，侍御史赵鼎力劝赵构，众寡不敌，还是避开为上策。赵构猛然醒悟，自忖：大意了，冲动了！还是赵鼎忠心啊！
二十六日，赵构兜了一圈，赶紧又回越州。
再说杜充在马家渡失败，兀术渡江攻建康，杜充北撤保真州（江苏仪征）。知建康府陈邦光投降。通判杨邦乂不肯屈膝。兀术派人用高官引诱，杨邦乂大骂道：“宁做赵氏鬼，不做他邦臣。”被杀！而杜充在兀术的引诱下，回建康投降了金军。
赵构闻建康失守，对吕颐浩道：“事情紧迫，该怎么办？”
吕颐浩提议到海上避难，并道：“金人多骑兵，难以乘船追我们。江浙一带气候温热，金人也不能久留！等他们走了，我们再来收复江浙，他出我进，他进我出，这是兵法奇策！”赵构采纳，二十八日，从越州出发，赴明州（浙江宁波）。
知徐州赵立，闻朝廷下诏召各路军马勤王，率三万军马从徐州出发赶浙江，走到淮阴，遇到金军阻击，赵立部下劝他回徐州，赵立咬牙切齿道：“说回去的，军法从事！”
赵立和金军辗转激战四十里，到淮安城下，赵立脸颊左右中箭，口不能言，唯用手指挥部队，部队安定后才拔除箭枝休息。此战让赵立声名大振！还是那句话，不是打不赢，而是敢不敢打！
十二月初二日，赵构到明州。
十二月七日，兀术的东路军攻常州，知常州周杞派部将刘晏击退。兀术便南下攻广德军（安徽广德），杀知广德军张烈，然后过独松关进军杭州，知杭州康允之弃城，钱塘县令朱跸率弓手民兵抗敌，力战而死。
兀术闻赵构在明州，派先锋阿里蒲卢浑率精锐骑兵来追。十五日，赵构乘楼船往明州东北定海，让张俊负责明州防务。另外以使者身份留范宗尹、赵鼎在明州，以期望和金军议和。
吕颐浩奏请从官以下，各听其便。吕颐浩的意思应该是，人多目标大，不利于逃亡，赵构却道：“士大夫应当知道义理，怎么能不让他们扈从？否则，朕和寇盗有什么区别？”是呀，朝廷成员都遣散了，他赵构不成了山大王？
两个多月的时间，赵构从杭州逃越州，又返杭州，再回越州，走明州，奔定海，端的是狼狈啊！
佐料：杜充被赵构留守建康，建康是江浙门户，可见朝廷对他十分倚重，可杜充却毫无抗敌方略，唯一热衷做的事就是，严厉管束部下，动辄诛杀，部下无不寒心。
杜充在建康外围的马家渡吃了败仗，退到真州后，又将责任推给部下，严厉斥责各将，各将愤愤不平，巴不得杜充失败，这样的统帅能打胜仗？
真州守将向子忞劝杜充由通州、泰州一起去浙江和赵构会合，但杜充拒绝了向子忞的建议。实际是有了异心。
兀术占领建康后，让投降的唐佐写信劝降杜充，唐佐是杜充好友，同时兀术派人诱惑杜充道：“如果投降，就把中原封给你，如同张邦昌一样。”杜充遂降。
赵构得知杜充投敌，几天吃不进饭食， 对宰辅大臣道：“朕待杜充不薄，因什么缘故反叛？”下诏削去杜充爵位，将其子杜嵩、杜岩、杜崐、女婿韩汝流放广州。
公元1130年冬天，杜充到大同，粘没喝很鄙视他。不久，杜充任相州知州。杜充在相州和人相处很差，猜忌同僚，威逼下属。
公元1132年杜充的孙子相州，杜充的副手胡景山乘机诬陷杜充阴通南宋。粘没喝抓捕杜充，并严刑拷打，问道：“你难道还想南朝吗？”
杜充回答道：“即使元帅让我回南朝，我也不敢啊！”粘没喝大笑，放了他。
就这么一个人，后来竟做到了金国的行台右丞相。上天何其不公乃尔？！