后担任中共哈尔滨市委第一任书记。1932年11月,
杨靖宇以中共满洲省委特派员的身份来到南满。他先是几经周折,
在桦甸县常山屯找到了磐石工农反日义勇军,然后把队伍带到了蜂蜜顶子,召开会议。
会议决定将磐石工农反日义勇军更名为中国工农红军第三十二军南满游击队。后来,
杨靖宇征得上级同意,决定留在这支部队,任游击队代理政委,
并将来东北时的化名张贯一正式改为杨靖宇。1933年9月18日,
按照中共满洲省委的指示,南满游击队改编为东北人民革命军第一军独立第一师。
杨靖宇任师长兼政委,全师共300人。1933年10月,为进一步扩大游击区域,
联合更多的抗日武装,杨靖宇率部分队伍从玻璃河套的生财沟出发,向辉发江以南挺进。
杨靖宇率部队渡过辉发江后,连战连捷,声威远震。
巴黎出版的《救国时报》载文报道:“第一军屡败日伪军,弄得日伪军一闻人民革命军之名,
便战战兢兢,心胆俱寒。”1934年1月,中华苏维埃第二次代表大会在瑞金召开。
杨靖宇虽未参加这次大会,但仍当选为中华苏维埃共和国中央执行委员会委员。
1934年2月21日,在临江县三岔子城墙砬子街,
杨靖宇主持召开了南满17支抗日义勇军联合会议。会议正式决定成立抗日联军总指挥部,
杨靖宇任总指挥。1934年11月7日,在临江县八道江板石岭,
东北人民革命军第一军成立,杨靖宇任军长兼政委。1935年10月上旬,
以东北人民革命军第一军为主体,联合其他武装,整编为东北抗日联军第一军。10月中旬,
杨靖宇任军长兼政委。1936年7月,
抗联第一军与活动在东满的抗联第二军又合编为东北抗联第一路军。