1922年，張平花100多塊銀元買了一支漢陽槍，一年后，當(dāng)上了當(dāng)?shù)貓F(tuán)防局副局長。在他的要挾下，沒多久局長便逃之夭夭，張平自任團(tuán)防局長。他吃喝嫖賭樣樣都沾，并干起燒殺擄搶的勾當(dāng)。1928年，張平經(jīng)人介紹到一二八師的一個(gè)旅長舒安卿手下當(dāng)副官。1935年，他隨舒安卿部到永（順）、保（靖）一帶“剿共”。就在這里，他看上了楊炳蓮。當(dāng)時(shí)，楊炳蓮家在永綏縣城經(jīng)營一家雜貨店，賣針、線、甜酒等。楊炳蓮記不起第一次見到張平是什么時(shí)候，“只是覺得這個(gè)當(dāng)兵的很奇怪，隔一兩天就來店里買一根針或一根線”。