1937年7月7日夜，守卫北平西南卢沟桥的第二十九军遇到日军挑衅和进攻，当即奋起还击，这次史称的“七七事变”开始了中国的全面抗战。消息传来，全国群情激昂，音乐家麦新在事变三天后便创作出著名的《大刀进行曲》——
“大刀向鬼子们的头上砍去，二十九军的弟兄们，抗战的一天来到了，抗战的一天来到了！前面有东北的义勇军，后面有全国的老百姓。咱二十九军不是孤军，看准那敌人。把他消灭！把他消灭！冲啊！大刀向鬼子们的头上砍去，杀！”
这首歌最初的词句，是以二十九军在长城喜峰口夜袭日军的事迹鼓舞该部抗战，后来，随着它雄壮的旋律响彻全国军队和民众之中，“二十九军的弟兄们”便改为“全国武装的弟兄们”。
抗战初期的二十九军的大刀队
在全国可谓如雷贯耳。二十九军的前身最早是冯玉祥的起家部队北洋第十六混成旅，后来发展成国民革命军第二集团军。该部长期驻扎在贫寒的西北地区，装备差，士兵成分却比较淳朴，冯玉祥也特别强调肉搏训练。在1930年的蒋冯阎大战中，西北军被蒋介石打败，冯玉祥的基本部队被南京政府收编，给了一个第二十九军的番号，但在待遇和供应补给方面一直受到歧视。1933年初长城抗战开始，二十九军担负了喜峰口的阵地防御任务，当时部队情况是“火力弱，有兵无枪，有枪缺弹，只是每人大刀一把，手榴弹六枚”。面对日军以空、炮协同的猛烈火力攻击，中国官兵只能依托长城抗击，部队守在工事里被动挨打伤亡很大。
宋哲元奉命防守冷口迤西至马兰关的长城关口
7日，二十九军接防喜峰口，凌源、平泉战败退兵喜峰口一带的万福麟部，无力再战。9日，日军步骑联合部队和伪军一部，乘万福麟部和二十九军三十七师交接阵地之时，向喜峰口外约20里的一个前哨据点孟子岭发起猛攻。傍晚，日军占领高地，控制了口门。王长海团以半天时间，前进100多里，从遵化赶到喜峰口。
日军先头部队已占领口外东北方长城制高点，并有敌步骑500名向喜峰口方面冲击。王团天黑时，潜登山头，以大刀砍杀一批日军，将制高点夺回。当夜，一0九旅旅长赵登禹、何基沣二人商议后认为应以夜袭反击敌军，便组织起500人大刀队，于1933年3月11日夜幕降临后直扑日军宿营地。。
大刀勇士们攀垣越墙分头入村后，以迅雷不及掩耳之势抡起大刀横砍直劈。骄狂的敌兵根本没想到国民党军队敢来偷袭，都在呼呼大睡，不少人梦中便做了刀下鬼。随后支援日军包围而来，双方短兵相接，大刀队边战边撤，喊杀之声震撼大地。当时报道是“夜杀敌千余”肯定有所高估，不过日军的确伤亡不小，参加夜袭的500名大刀队员也大部分壮烈牺牲。
10日凌晨3时，国民党军队乘黑夜出敌阵烧毁敌行李车数十部，歼敌约500余人
这一仗后，二十九军大刀队名震天下，成了全民族抵御外侮的偶像。何香凝曾赋诗一首称赞：杀敌何须更渡海，数万倭奴引颈待。钢脚夜眼青龙刀，捷音传来齐喝彩。二十九军民族光，挞汝倭国军阀狂。国仇重重何日忘，誓到东京饮琼浆。
抗战后期，原二十九军系统部队在国民党最高当局排挤下编制不断缩小，靠着喜峰口、卢沟桥等荣誉才勉强保留下番号。抗战结束后，第五十九、第七十七军只剩下四旅八团，人数不过2万，该部官兵又对蒋介石将他们推上内战前线极为愤怒，长期在徐州以北防地消极避战。1948年11月，在分别于1929年、1938年便秘密加入了共产党的张克侠、何基沣率领下，这两个军于淮海战役开始时宣布起义，加入了人民解放军，从而迎来光明的前途。