宗泽逝世后，宋朝失去了一个领导抗战的忠臣，开封留守由杜充接任，岳飞也归杜充掌管。杜充是一个治军无方、酷而无谋、贪生怕死的家伙，与huáng潜善等人其实是一丘之貉。杜充上任伊始，立即中止北伐，并绝断对两河义军的任何联系和支援，并且将宗泽苦心经营的种种设施也给破坏了。
汴京一带是抗金斗争的最前线。对于这样一道防线，杜充不是鼓励部下积极防御，而是不顾人民的死活，下令掘开huáng河堤防，使huáng河改道入淮，企图让泛滥的河水来阻挡金军。河水淹没了汴京周围的地区，淹没了农民的庄稼，淹没了人民的生命财产，却阻挡不住金军的铁骑。1129年(建炎三年)夏季，金军由统帅兀术带领，大规模地向南进攻。杜充眼看高宗逃往杭州，开封成了难守的孤垒，于是擅自撤离开封，移军建康(今南京市)去了。这年五月，高宗迫于舆论，由杭州北返建康，以高宗为首的南宋政府文武百官惶惶然，惟恐金军渡军南下，而高宗则接二连三地给金军首领粘罕写信乞和，其卑躬曲膝的丑态到了无以复加的地步。是年秋天，金兀术率领大军，气势汹汹地 向江淮扑来。宋高宗吓破了胆，他把防守建康的责任jiāo给杜充后，自己又在投降派的保护下逃到临安 (今浙江杭州)去了。擅离开封、极不负责任的杜充 ，非但没有受到斥责，反而被提升为尚书右仆she(右相)兼江淮宣抚使 。当金军从马家渡一过江 ，杜充就自带3000亲兵，偷偷地北渡长江投敌去了。
主帅逃跑，留守建康的十万宋军军心动摇。部将纷纷率部逃奔，各谋营生，逃跑像瘟疫一样蔓延开来。在这巨大的混乱和恐慌面前，岳飞岿然不动，在他的满腔爱国热情的鼓舞之下，士卒被深深地感动了。他们皆齐声高呼 ：“惟统制是命 !”一些打算四散回家的士兵，也定下心来继续跟岳飞抗金。
军心稳住了，岳飞jīng神很是振奋，杜充降敌后，岳飞摆脱了杜充的羁束，自领一军，开始了独当一面的抗金活动。但是，大部宋军已经溃散，金国十万大军从容地渡过了长江，很快地包围了建康城。建康就此失守。
金军分两路越过长江后，分一路猛追高宗，高宗吓得乘海船逃到海上。
岳飞开始孤军奋战，后来和另外两个统制会和。岳飞和人民站在一起，在敌后阻截，骚扰金军。他带领将士，取得了六战六捷的战绩。
那时候，岳飞的军队已经同南宋政府失去了联系， 成为一支孤军，给养的补充十分困难。但是，军队的纪律依旧很好。岳飞严格地约束部下，不准随便拿老百姓的东西，不准侵占民房。为了解决军粮问题，他多方设法，并曾与母亲商量，捐献家财以购买粮食。他和士兵同甘共苦，每次吃饭，总是和下等的兵士在一起，得到部下的热烈拥护。这样一支与众不同的队伍，自然能够得到驻地老百姓的爱戴。街头市井，买卖照常，农民安心下田。有岳家军在，驻地附近老百姓有一种安全感，岳家军因而赢得了“岳爷爷军”的美称。1130年(建炎四年)chūn天，这支部队开到宜兴(今江苏宜兴)驻扎下来，在那里维持了良好的秩序，同当地人民相处得很好。这支军队人数虽然不多，但是正在逐渐成长为一支坚qiáng的抗金力量。
金军占据明州后，处境日益困难，茫茫大海不见高宗踪迹，将士们水土不服，岳飞又驻军宜兴，韩世忠引兵前往镇江，金军归路有被截断的危险，于是决定退兵。为了方便运输掠夺的财物，金军绕道大运河，水陆并行。金军沿途所至，疯狂地进行烧杀抢掠。他们在临安纵火，连烧三天三夜，烟焰不绝。金军的杀掠，加之官兵的骚扰，以及建炎四年夏季的瘟疫，平江府人民丧生者近50万，只有十分之一二的人口幸免于难。
江南军民面对金军的凶bào行径，奋起抗击，金军 攻打临安时，钱塘县令率乡兵2000，上阵拒敌，自己身受重伤，仍然令士兵背负着他，继续指挥战斗，最后在天竺山英勇牺牲。金军进犯越州时，余姚知县李颖士招募几千乡兵，他们布列许多旗帜，迷惑敌人，胜利地阻击了一昼夜。这一系列战斗都打击了女真贵族的嚣张气焰，使金军难以在江南立足。
建炎四年三月，兀术到达镇江府，打算满载虏获品过江，却遭到了韩世忠军队的拦击。金军号称10万人，韩世忠手下只有8000人马，全军登上战舰，屯驻屹立在江西的焦山，控扼住金军的归路。金兀术屡战屡败，十分láng狈。他请求韩世忠放他过江，韩世忠提出了他无法接受的条件：放回徽、钦二帝，归还疆土。
兀术沿长江南岸且战且走，到了huáng天dàng (在今江苏南京市东北)，进退不得，被韩世忠卡在那儿 ，相持了48天之久。
建康成了金军在江南仅存的立足点，对于再下江南，吞灭宋朝，无疑有非常重要的军事价值。当兀术和韩世忠在江上对峙时，建康的金兵在城东北的钟山、城南的雨花台构筑大寨，开凿了两道护城河，并在山上挖dòng，以供避暑之用。
浮廷归来的宋廷，暂驻越州，将建康的金军视为莫大的威胁。高宋君臣为此调动了可以调动的全部兵 力，命令张俊全权负责收复建康事宜，可是卑怯的张俊宁可任人唾骂，也不敢向建康前进一步。勇敢承担克复建康重任的，只有岳家军。
四月二十五日，岳飞发起的清水亭之战告捷，敌人横尸15里，斩得耳戴金银环的女真人头175级，活捉女真、渤海、汉阳军45人，缴获马甲、弓、箭、刀、旗等器械3700多件。
在敌众我寡的情势下，要围歼兀术大军，是不可能实现的。岳飞采用的策略是自南而北，驱逐敌人过江。建康城南30里有一座山，上有双峰，东西对峙，故取名牛头山。岳飞在中头山设伏兵，伺机歼敌，到了晚上，轮流派出100名士卒，身穿黑衣，混入金营骚扰，使金军在惊慌中互相攻杀。后来发觉上了宋军的圈套，便加qiáng了巡逻警戒，不让宋军混入金营。岳飞又派士卒衔枚伏在路旁，等金军“巡卒”过来时，一一加以擒获。直弄得金军损兵折将，惶惶不安。从四月到五月，岳家军同敌军战斗几十次，都取得胜利。战事不利，使兀术觉得久留建康无益，遂移于建康城西北15里的靖安镇，并加紧在城里掳掠和破坏，纵火焚烧三日，抓走居民、官员中的qiáng壮男女，疯狂屠杀城中市民。一个原有17万居民的城市，只剩下一片废墟，逃生者仅及十分之一。
乘金军装载辎重、驱赶大批劫掠人员缓缓北渡之 际，在张俊、刘光世等大军远离建康情况下，岳飞率一支孤军直趋静安，拦击金军。前建康通判钱需则召集乡兵从侧面袭击金军，以配合岳家军的正面进攻。五月十一日，兀术从靖安镇撤到对岸的宣化镇，岳家军追到靖安镇，消灭了最后一批金军。战士们跳上尚未逃遁的敌船，残敌多被击溺于江水之中。岸上的铠甲、兵器、旗鼓、辎重、牛驴等等，数以万计，或纵横委弃，或堆积如山。
建康战役历时半月多，杀敌3000多人，擒获千户留哥，其中光是靖安一战，即俘金兵300多人。这是岳家军的首次大胜利。从此金军不复在江南留下一骑一卒，建康收复了。