苏鲁支队的前身是鲁南人民抗日义勇总队。

义勇总队成立后，在中共苏鲁豫皖边区特委领导下，在滕峄边山区发动群众，袭击日军，发展党组织，使这一地区的抗日运动空前高涨，义勇总队迅速发展，特委控制的地区不断扩大，滕峄边山区抗日根据地初具规模。这一切引起了这一地区顽固势力的不满和仇恨。以申宪武为主的峄县、滕县、费县等地的土顽势力，力量数倍于抗日武装，多次进攻、包围义勇总队。在反顽作战中，义勇总队也付出了沉重的代价。在这种困境下，特委和义勇总队决定撤离滕峄边区，向抱犊崮山区大炉一带转移。

1938年8月，特委和义勇总队到达抱犊崮山区。此后，为适应抗日斗争的需要，义勇总队暂改用张里元的国民党山东省第三区保安司令部直辖第四团的番号，后又改称张里元的保安第二旅第十九团，同张里元保持统战关系，在抱犊崮山区积极开展抗日活动。

八路军第一一五师初到鲁南抱犊崮山区时，义勇总队开辟的抗日根据地只有大炉、车辋等十几个山区村庄，活动地区比较狭小，且经常受到日伪顽匪的封锁和阻挠，群众尚未彻底发动起来，使第一一五师感到没有依托。因此，整编地方武装，壮大人民抗日武装力量，进一步开辟抗日根据地成为当务之急。八路军第一一五师在中共山东分局和山东纵队以及鲁南地方党组织的支持下，将地方党组织领导的人民抗日武装和由部分爱国人士创建的抗日武装相继进行整编，义勇总队就是其中之一。这些抗日武装编入八路军序列之后，在第一一五师的统一指挥下，积极配合主力同日伪顽斗争，为巩固和扩大以抱犊崮为中心的鲁南抗日根据地作出了重要贡献。

1939年10月，第一一五师经与山东纵队领导协商，在鲁南郯城呦鹿山镇将义勇总队正式改编为八路军苏鲁支队，仍属于八路军山东纵队建制，但由第一一五师指挥。

1940年4月，苏鲁支队正式划归第一一五师建制，仍由张光中、彭嘉庆分别任支队长、政治委员。

部队改编后，苏鲁支队参加了一系列战斗，如配合主力，保卫抱犊崮抗日根据地；赴邹东反击顽军，巩固扩大邹滕东抗日根据地；两下峄南，配合运河支队、峄县支队反击顽军进攻。苏鲁支队英勇善战，不怕牺牲，冲锋陷阵，威震敌胆，在抗日战争中立下了卓著功勋。