自此，第5师团就成了日本国民心中的最王牌的部队并冠予“钢军”的美誉。

而自七七卢沟桥事变以来，日军第5师团在第19任师团长板垣征四郎的率领下，自天津塘沽登陆，一路横扫华夏北方，先后攻陷天津、保定、张家口、大同等重要交通城市，先后与华夏军队十数个师交手，无人是一合之敌，凶焰一时无两。

第5师团攻陷大同之后又分三路进犯：一路沿平绥铁路出得胜口连陷丰镇、集宁，与尚义、商都方向之敌相呼应；一路在攻占丰镇之后，即迅速西向攻占了凉城、和林格尔，进攻矛头直指归绥(今呼和浩特)。

归绥国民党守军就是之前提到的29军副军长刘孺民的部队，此人就是个目无寸光的军阀，地盘意识相当之重，对于友军过境时是百般刁难，甚至不惜摆出一副鱼死网破的架势。

但面对敌寇第5师团，这厮竟是不战而退，一路溃逃至包头。

第三路日军则是沿宣蔚公路南犯，所过之处守军纷纷溃逃，日军逐占蔚县、广灵、灵邱、阳原、涞源、浑源等县城，切断了平汉、平绥二路之联系，威胁了恒山诸要隘。

大同以南的守军畏敌如虎，相继撤至雁门关东西一线。第5师团一部乘国民军仓促撤退之机，集中万余兵力，沿宣蔚公路南犯，企图一举攻下平型关，向山西腹地进犯。

此路日军是第5师团第21旅团，在旅团主力攻击平型关关口之时，其辎重联队一部及两个汽车中队，约一百辆卡车和两百架骡马大车，大约近千人正向乔沟方向驶来。