从日军侵入山东起，山东各地出现众多抗日武装。1937年11月中旬，山东省第六行政区（聊城地区）专员兼保安司令范筑先决心守土抗战。他收编武装，连同地方保安队，改编为30个游击支队，人数五六万人，与日军进行大小百余次战斗，开创了鲁西北抗日根据地，范围扩展至30余县。
1937年11月，鲁北乐陵、无棣、宁津和冀南庆云（今属山东省）、盐山等县地方武装组成“华北民众抗日救国军”，1938年春攻打上述诸县县城，部队发展至千余人。年底，长山、寿光、昌邑、潍县等地均出现抗日游击武装。12月24日，中共胶东特委在文登天福山建立山东人民抗日救国军第3军，1938年1月又在威海组建抗日武装。2月，第3军司令部建立，理琪任司令员。继而，蓬莱、黄县、牟平、即墨、莱阳、掖县等地亦出现抗日武装。蓬莱抗日部队攻克县城，成立抗日县政府。1938年初，中共山东省委书记黎玉与八路军总部代表郭洪涛在泰安徂徕山组织流亡学生和当地民众自卫团成立八路军山东人民抗日游击第4支队。3月，中共苏鲁豫皖边区特委成立苏鲁人民抗日义勇队。