他不想跟着东北军继续南下，选择回了老家，老家就是华北的，曾经也组织了当地的一些溃兵组建起来一个游击队。
专门打小鬼子的散兵游勇和伪军，在当地也很有名气，小鬼子和伪军说他是土匪，但是他还真没抢过百姓的。
部队一度竟然扩展到了八百多人，后来林大勇带领新三团一路走来，次次的打退日军进攻，创建了新一师。
葛存效距离新一师的地方不是很远，几百里的距离，葛存效有心想来投靠林大勇，但是还怕林大勇看不起他，毕竟林大勇可是当时打退过一个日军师团的兵力的。
而他葛存效，充其量只是几百人的游击队，当他派人来联系林大勇，告诉给林大勇他想来投靠时。
林大勇并没有着急的允许，还是先派人去打听一下葛存效的这个为人如何，一打听，当地老百姓都说葛存效是百姓的救星，经常收拾下乡抢粮的伪军。