杨靖宇不辜负党的重托，打开了磐石地区游击工作的局面，深受磐石游击队干部战士的爱戴。1933年九一八两周年纪念日，遵照中共满洲省委指示，以游击队为骨干，联合其他抗日武装力量成立了东北人民革命军第一军独立师，杨靖宇任师长(又称司令员)兼政治委员。全师300多人。一年后，即1934年11月7日，正式成立东北人民革命军第一军，杨靖宇任军长兼政治委员。
杨靖宇分析了当时的形势，决定率部挥戈南下，越过辉发江，把辉发江以南大批分散的游击力量组织起来，同时狠狠打击日伪敌人，进一步壮大游击队。当时辉发江以南有上万人的抗日游击力量，他们多数是揭竿而起，没有党的领导，因而经常失败，濒于溃散的危局。杨靖宇给分散的抗日军首领写信，动员他们联合抗日，提出了“豺狼入门，外患为重，要联合起来对付日本”的主张，深受各抗日军拥护。有一支以长白山一位采木工人田麟为首的游击队，目睹杨靖宇独立师模范的纪律和英勇的杀敌行动，耳闻杨靖宇联合抗日的主张，深深认识到：只有共产党才是真正抗日救国的，请求杨司令给他们的部队派政委，愿意接受共产党的统一指挥。此后，田麟还入了党，任抗联第五团团长，后来在一次反“围剿”战斗中牺牲。杨靖宇团结了20多支抗日武装，于1934年4月成立抗日联军指挥部，他被公推为总指挥。由于杨靖宇的努力，南满团结抗日的大好局面逐步形成。
1935年8月，根据中国共产党的‘八一宣言‘联合抗日的精神，东北各抗日队伍合编为东北抗日联军。东北人民革命军第一军改编为东北抗日联军第一军，杨靖宇任军长兼政委。不久，杨靖宇和中共南满省委书记魏拯民一起，召开南满省委代表及“抗联”一军、二军干部会议，把“抗联”一军和二军合编为东北抗日联军第一路军。杨靖宇任总指挥兼政委，全军基本队伍6000多人。这支强劲的铁流转战辽吉两省，战果赫赫。日伪军听到“杨靖宇”三字就吓得魂不附体。而在广大群众心中，这三个字却成了抗日旗帜，老乡们称杨靖宇是“我们的杨司令”，称“抗联”一路军为“杨司令的队伍”。杨靖宇统率的第一路军，从“七七”事变后到1938年的一年多内，历经数十战，歼敌两万多，有效地牵制了敌人，配合了全国抗战，正象杨靖宇亲笔创作的《东北抗日联军第一路军军歌》中写的：“乒乓的冲锋杀敌缴械声，那就是革命胜利的铁证……”。
抗日联军的胜利鼓舞着人民，人民热情支持着抗日联军。“抗联”部队到哪里，那里的人民就送粮送草，报信带路。有些农民老太太把“抗联”队伍说成是“杨司令带领的神兵天将”，有的说是“老天爷派来救老百姓的神兵”。每当“抗联”出动，有的老百姓就烧香磕头，祈祷菩萨保佑杨司令打胜仗。杨靖宇每到一处，必定召开群众大会，宣传抗日道理，询问百姓疾苦，和群众亲亲如一家。
1938年下半年，全国抗战进入了极其艰苦的相持阶段。日本侵略军担心它在东北的统治动摇，咬牙切齿地下决心要消灭东北抗日联军这个心腹大患。因此，他们从日本本土和朝鲜调集兵力40多万，包围东北“抗联”，进行“篦梳山林”式的“扫荡”，同时，又推行了“归屯并户”、“保甲连坐”的毒辣手段，严密管制老百姓的衣食住行，连一尺布、一斤棉花、一粒粮食也不准外运，妄图割断群众和抗联的联系，以便困死、饿死抗日联军。东北抗日游击战争面临着最严峻的局面。
为了保存有生力量，杨靖宇率领一路军向东部长白山丛林转移。日军司令野富坐飞机亲自搜捕。日寇每天出动四五架飞机盘旋侦察，低空扫射。杨靖宇和同志们战斗在冰天雪
地的丛林中，没吃没住，饥寒交迫，但他们乐观地高唱着：“天大的房，地大的炕，火是生命，森林是家乡，野菜树皮是食粮……”表现出高昂的革命乐观主义精神。
1941年1月，杨靖宇率300余人攻下龙泉镇后，组织各方面军尽快向预定地点分散活动。但由于叛徒的告密，而使他们的活动路线暴露。日寇火速调集兵力，满山遍野疯狂追击。杨靖宇适应战局，立即命令直属部队分散活动，以迷惑敌人，自己率部离开濛江西部林区，准备