同年八月，岳飞渡河北上，奔赴抗金前线——北京大名府，经过河北西路招抚使干办公事赵九龄的极力推荐，他拜见了当时“声满河朔”，正多方收揽英才抗金的招抚使张所。算来，这是岳飞第四次从军了。张所听闻岳飞的从军遭遇后，十分同情，便留他在“帐前使唤”。由于岳飞的非凡见识、高超武艺，张所终于决定破格提拔他。先是“以白身借补修武郎”，继而又升为统领，后来又升为统制，分隶于名将王彦部下。可以说，自从归入张所手下做事，岳飞才享受到了一个军人应有的待遇。
建炎三年(1129年)，金将完颜宗弼率金军再次南侵，出乎岳飞意料的是，开封府留守杜充居然在关键时刻率军弃开封而南逃，只留下岳飞一人孤军奋战。无奈之下，岳飞也只好随之南下。这年秋，完颜宗弼继续南侵，改任建康(今江苏南京)留守的杜充，这一次他没有逃跑，而是选择了不战而降，让金军占了很大一个便宜。金军不费一兵一卒，就顺利渡过长江天险。很快，金军又攻下临安、越州(今绍兴)、明州等地，赵构被迫流亡海上。
在如此混乱的局势下，只有岳飞率孤军坚持敌后作战。他先是在广德攻击金军后卫，六战六捷。紧接着，岳飞又在金军进攻常州，率部驰援，四战四胜。次年，岳飞在牛头山设下埋伏圈，大破完颜宗弼，成功收复建康，金军被迫北撤。自那以后，岳飞的威名传遍大江南北，声震河朔。七月，岳飞被升任通州镇抚使兼知泰州，并拥有万余人马，建立起了一支纪律严明、作战骁勇的抗金劲旅“岳家军”。