张俊回朝后“盛称岳飞可用”,于是岳飞升转任武功大夫、昌州防御使,通州镇抚使兼知泰州。 完颜宗弼北上后,与完颜昌会师攻打楚州。宋高宗命张俊援救楚州。张俊命并非嫡系的岳飞出战,又命刘光世为岳飞后援。岳飞于九月赶到承州,但未能解楚州之围,楚州失陷。岳飞无险可恃,撤军而还。同年六月,御前五军改为神武军,韩世忠所部为神武左军,张俊所部为神武右军都统制,两人均为都统制;辛永宗所部六千人为神武中军,王燮所部一万五千人为神武前军,陈思恭所部万人为神武后军,三人均为统制。。御营司五军改为神武副军,辛企宗所部为神武副军,辛企宗为都统制;李横所部为神武左副军,颜孝恭所部为神武右副军,两人均为统制。后神武右副军统制颜孝恭改任江南东路安抚大使司统制,空缺由岳飞填补。。十月,岳飞升转亲卫大夫、建州观察使。十二月,神武副军都统制辛企宗因镇压福建范汝为之乱不力而被削职,岳飞的「神武右副军」改名为「神武副军」,并升迁为都统制。 绍兴二年(1132年)正月末,岳飞被任命为知州、兼荆湖东路安抚使、都总管,统率军马前往潭州。二月,主战派头号人物李纲被起用为荆湖、广南路宣抚使,岳飞等将领划入李纲部下,讨伐湖东路的盗匪曹成。当时岳家军的兵力为一万二千余人,岳飞以二千人驻守吉州(今江西吉安市),以其余的一万多人进攻曹成的部队。战斗中岳家军尽占优势,但曹成部下悍将杨再兴骁勇异常,先是攻入岳家军第五正将韩顺夫的营地,将韩砍折一臂而死,后又杀死了岳飞的胞弟岳飜。但杨再兴最终被岳家军俘虏,被岳飞收服而成为日后岳家军的著名悍将之一。李纲称赞岳飞“年齿方壮,治军严肃,能立奇功,近来之所少得”,断言他“异时决为中兴名将”。闰六月,岳飞升三官为中卫大夫、武安军承宣使,仍属从五品。讨伐曹成后,岳家军兵力增一倍,达二万三千到四千人左右,与韩世忠、刘光世、张俊等军相差不多。 绍兴三年(1133年)九月,岳飞第二次朝见宋高宗。宋高宗亲笔书写“精忠岳飞”四字,绣成一面战旗,命岳飞在用兵行师时作为大纛。又任命岳飞任江南西路舒蕲州制置使,将驻守蕲州的统制李山,屯扎江州的统制傅选两支部队并入岳家军,将淮南西路舒州和蕲州的防务并入岳飞的防区。岳家军的军号也由「神武副军」升格为「神武后军」,但岳飞的官衔却由都统制改回统制,这是因为他的资历尚浅,还不能和「神武左军」都统制韩世忠、「神武右军」都统制张俊相比。