1898年，张成义生于河北省正定县西塔子口村一个农民家庭。张成义有兄弟5人，他排行老大，二弟也是军人，在他当连长时就阵亡了。全家主要靠张成义接济。张成义经历了直奉战争、北伐战争、中原大战等连年的征战，目睹山河破碎、民不聊生，他痛感国家积贫积弱的一个重要原因是科技和教育的落后，所以在戎马倥偬中不忘叮嘱孩子们好好读书。他虽粗犷豪放，但并非一介武夫，内心十分细腻，与妻子感情甚笃。
1933年3月，长城抗战打响，虽经两个多月的浴血奋战，终不能抵挡日寇精锐武器的猛烈进攻，全线失利。5月下旬，第59军奉命在怀柔牛栏山一带阻击日寇，掩护西线主力撤退，保护古都北平安全。张成义所部419团担负第一线左翼御敌任务，以“近战狠打”的战术，英勇抗击日寇第八师团主力部队铃木旅团和川原旅团，给敌人以重大杀伤，狠狠打击了日寇的嚣张气焰，直至中日双方达成停战协议才奉令撤退，成为长城战役“最后有力的光荣一战”。
1936年8月，日寇方面唆使伪军进犯绥东，绥远抗战爆发。1936年11月，继红格尔图战役胜利之后，晋绥军总指挥、绥远省**傅作义将军决定奇袭百灵庙，拔除日寇侵绥的战略据点，消除来自绥北的重大威胁。在这次军事行动中，时任35军211旅419团团长的张成义被列为“中央纵队”，担负攻打百灵庙最艰巨的主攻任务——突破东南山口要隘。张成义不辱使命，率部雪夜奔袭360余里，冒着伪军的猛烈炮火，突破敌人数道重兵把守的防线，率先攻入庙内，全歼守敌，取得了著名的百灵庙大捷。战后，张成义受到傅作义嘉奖。天津《大公报》称张成义等为“收庙勋将” 。张成义因其赫赫战功获颁六等云麾勋章，被誉为“收复百灵庙勋将”，其肖像和事迹刊登在天津《大公报》等报刊上，成为举国敬仰的民族英雄
1937年，卢沟桥事变爆发，日寇进占平津。绥远省**兼35军军长傅作义被任命为第七集团军总司令，指挥南口战役和平绥线阻击战。鉴于绥东战略位置十分重要，防守绥东丰镇、集宁二县必须是可担大任之人。傅作义任命张成义为绥远国民军绥东区防少将司令，专门负责丰镇、集宁两地防卫事宜。
8月26日，我军在南口与敌人血战20余日后失利，被迫全线撤退。日寇沿平绥路长驱直入，企图占领山西、控制华北，切断中国北部的国际交通线。在绥远国防守备空虚的情况下，面对日寇的虎狼之师，张成义率羸弱之兵毅然担负起守卫绥远
…。。