1931年10月，美国《密勒氏评论报》发表评论说：“满洲事实上没有不被袭击的地方，城市和铁路，竟找不出一处来。”1932年初，《伦敦每日导报》也撰文说：“满洲国当局日陷不宁，目下满洲境内，日本人没有一条绝对安全的道路。”
这支使伪满洲国和日本人“日陷不宁”的武装力量就是东北抗日义勇军，这支由东北军游散官兵、绿林武装、普通平民组成的非正规部队，替代了正规军，成为日军恐惧的对象，成为白山黑水间表现中华民族不屈意志的战魂。
1932年3月9日，清廷逊帝溥仪在日本帝国主义的扶持下沐猴而冠，出任了伪满洲国执政。傀儡政权的出笼更激发了东北人民和东北义勇军的极大愤慨，一个更大规模的抗日热潮在东北全境轰轰烈烈地掀起。当年4月1日，江桥抗战后一度妥协的马占山幡然醒悟，率领卫队出走省城齐齐哈尔，在拜泉邀见李杜、丁超（后降日）的代表，倡议吉、黑义勇军会攻哈尔滨，夺取这一北满重镇，然后大兵南下，直捣伪京长春，推翻伪满洲国。4月下旬，吉、黑两省义勇军同时向哈尔滨发起反攻，吉林义勇军出动三路大军沿松花江和绥（芬河）哈（尔滨）路西进，黑龙江省义勇军也集中精锐力量在松花江北摆开战场，另有原马占山旧部李海青在哈尔滨西部的肇州、肇源对青山一带助攻，王德林部则开赴镜泊湖南部地区阻敌援军。吉、黑义勇军十数万人马，分别在4个战场打响了这场气壮山河的复土战争。
不出半个月，吉林省义勇军连拔方正、一面坡、苇沙河、珠河、阿城、宾县等哈东重镇，直逼哈尔滨近郊；黑龙江省义勇军将松花江北之敌驱退；李海青部则挺进至距哈市十数里之遥；王德林部也在东南战场成功地扼制了吉敦一带日军的北进，哈尔滨克复在即。就在这关键时刻，日军收买叛徒程志远等人在黑龙江省义勇军后方发难，又出动主力沿松花江而下，从水路偷袭义勇军大本营依兰。5月中旬，兵力空虚的依兰不幸失守，切断了义勇军前后方联系，反攻大业一朝崩溃。义勇军出征部队陆续撤回勃利、宝清及绥宁一带，黑龙江省义勇军及李海青等部也被日军各个击破，转入其他战场。吉、黑义勇军反攻大业虽然失败，但是，这场战役发动在国际联盟所派李顿调查团来华之际，在国际上产生强烈反响，向全世界表明了东北人民坚决否认伪满洲国，绝不屈从于日本刺刀的严正立场，也充分显示了东北义勇军不畏强敌、敢洒热血的战斗精神，更广泛地唤起了民众的觉醒。吉、黑各地的民团、民间秘密结社（如大刀会、红枪会）、绿林武装以及热心救国的工农群众、青年学生纷纷加入抗日的行列，使原来以东北军为主体的吉、黑义勇军增添了新的成分，渐而形成各阶层、各民族联合抗日的壮观局面。当年10月1日，黑龙江省海满护路军司令兼步兵第二旅旅长苏炳文联合步兵第一旅旅长张殿九发表抗日通电，宣布将所部编成“东北民众救国军”，照会马占山、李海青等部联合反攻省城齐齐哈尔，吉、黑两省义勇军的抗敌活动出现新的高涨。
在此期间，辽宁省各地已兴起百余支大大小小的民众抗日武装。为了协调作战，统一领导，东北民众救国会派员统编辽宁省各地义勇军，最后编成五大军区（团），军团下设置梯队，仅辽西地区的第一军团便辖有56路梯队，外加27个支队。其他如辽北及辽热蒙边地区的第四、第五军团，辽东的第三军团，辽南的第二军团，各辖十数支乃至几十支武装。此外，另有国民党中央监委朱霁青在辽西一带组织的一支救国军，全省义勇军武装达15万人之多。这些民众武装虽然武器低劣，素质较差，却表现了一往无前的战斗精神。此间，他们多次袭击日伪盘踞的沈阳市，袭击飞机场、兵工厂、南满车站等地，焚毁日机数架，也多次攻袭锦州、营口、抚顺、鞍山、海城、新民、辽阳、义县、绥中、大虎山、黑山等重要城镇和日伪据点，扰得敌寇不得安宁。他们出没在北宁、安奉、营沟等铁路线两侧，颠覆日军军车，切断敌人交通，使运输枢纽常常陷于瘫痪，并歼灭了相当数量的日军。
这个时期东北义勇军活动的特点是发展迅速、规模庞大、战斗频繁，给日本侵略者以沉重打击，使日本侵略者陷入四处挨打、寝食不安的困境。