在1934年国民政府的阅兵大典上，有一支神奇的部队突然走过了各国公使的视线，这是一支大约有4000人的队伍，却是完全的德国军队装束，配备的也是当时最先进的德国全自动式冲锋枪。凡是稍微有一点军事常识的人都可以看出，这是一支具有极强战斗力的部队。当这支部队向委员长致意的时候，据当时的国民政府秘书邵则明多年后回忆：“当时，英国大使面容惊愕，日本大使面色苍白，德国大使微笑着对法国大使说，这是我们德国人训练出的军队。美国大使叹服地说，这是中国两支最好的部队之一，德国大使不服气地反问，在中国还有哪一支部队可以与他们抗衡？美国大使感慨地说，只有一支，那就是成吉思汗的部队。”
这支神秘的部队，就是南京国民政府自1927年起倾尽国力秘密组建，并于1933年邀请纳粹德国特种部队教官进行训练而成的王牌特种部队——委员长特别卫队，其代号为中国宪兵！
据日本女间谍川岛芳子于1946年交代，1934年国民政府国庆阅兵后仅30分钟，日本情报机关就接到了土肥原从南京发来的密电，上面只有一句话：中国宪兵现身南京，战斗力极其强大。
中国宪兵的前身，大体可以上溯到北伐战争中叶挺的“铁军”，随着国民政府统治的巩固，蒋介石于1927年开始了对全国200万军队的选拔工作，经过层层严格筛选，组成了一支8000人左右的卫队。卫队的成员个个身怀绝技，以一当百。1933年，随着国民政府与德国的关系日益密切，应蒋介石的邀请，希特勒秘密派遣纳粹冲锋队王牌教官勃罗姆来华，进行中国宪兵的秘密训练工作，在勃罗姆的严格训练下，又有近4000名士兵遭到淘汰。至此，中国宪兵正式形成。在德国教官近乎法西斯手段的严酷训练和几乎先进到牙齿的德式武器装备下，他们如虎添翼，终于成为了中国乃至整个东北亚最为精锐的部队。
据传闻，在蒋介石围剿红军行动最为艰苦的时候，国民政府不止一次动过调动中国宪兵进攻苏区的念头，只是蒋介石担心伤亡过大，得不偿失，才使这项决定终于搁浅。不过，在第五次围剿的初期，中国宪兵确实已经受命开赴了江西地区，只是因为苏区的迅速失陷，才使得他们没有派上用场。
1937年，中日战争全面爆发，在江南战场上，中日双方几乎集中了最精锐的兵力。中国宪兵也受命开赴前线。南京戍卫司令长官唐生智曾建议将中国宪兵组成小分队，通过空投的方式打入日军的后方，破坏日军的主要军事基地，这个高明的建议反而遭到了蒋介石的训斥。蒋介石担心这支价值连城的军队如果有任何损失，都是挖心之痛。于是，在这种“保存实力”的思路下，中国宪兵在战争的开始阶段始终在南京原地待命，充当了抗战的看客。
杀敌的机会终于来了，随着上海等地的陷落，日军向南京发起了总攻，蒋介石逃往武汉，也许是出于断后的考虑，他将中国宪兵留在了南京。随后，唐生智率领10万南京守军与日军展开了巷战，中国宪兵却还在营房处于待命状态，因为没有蒋介石的命令，任何人都是无权调动这支部队的。
战况越来越紧急，第五军军长张治中及其部队被日军包围在雨花台。这支抗战的英雄部队伤亡惨重，甚至连张治中的警卫队也伤亡殆尽。为了拯救第五军，唐生智痛下决心，冒着被枪毙的危险，与中国宪兵旅长易安华密谋，调动了中国宪兵两个营的兵力去雨花台接防。此时，日军已经几乎完全消灭了第五军，攻击雨花台的是日本甲种师团梅村师团(注：日本在二战中一共拥有六支甲种师团，两支作为关东军守备东北，后被苏联红军消灭，两支留守日本国内，后于1940年参加了太平洋战争。另外两支就是被中国人所熟悉的梅村师团和“皇军之花”板垣师团，始终投放在中国战场，并与国共多支军队交手，是侵华战争中日军的骨干力量。)师团长梅村是蒋介石在东京留学时的同班同学，并且曾经因为决斗胜利而缴获了蒋介石的家传宝刀，这件事情也是蒋介石青年时代的奇耻大辱。然而，也正是这位梅村师团长，在雨花台争夺战中，最终成就了中国宪兵的赫赫威名。
当两个营的中国宪兵与第五军在雨花台接防完毕的时候，梅村气势汹汹地发起了新一轮攻击浪潮，他得意地认为他面对的只是一批疲弱不堪的第五军战士，然而，就在这个时候，雨花台响起了德式冲锋枪的怒吼，大吃一惊的梅村刹那间大脑一片空白。在20年后的回忆录中，他这样描述自己的心情：“我的头脑一片空白，不知道是兴奋还是惶恐，我突然意识到，我们真正的对手来了。”
如果说开始日本人只是惶恐的话，那么之后的一天时间则成了这些所有经历过这场战争的大和武士心中永远的噩梦，两万多日军对两个营中国士兵的战斗，成为了梅村师团历史上最大的耻辱。600名中国宪兵，平均每个人将防守一段25米长的阵地，平均每个人要面对50名日本甲种师团士兵，战斗从早上打到黄昏，一批批日军倒在了雨花台上，始终不能前进一步。梅村师团也不愧是日军战斗力最强的部队，始终攻击不止，在最危急的时刻，梅村亲自带领敢死队，拿着当年从蒋介石手中赢得的宝刀，与中国宪兵在阵地上拼起了刺刀，然而中国宪兵也以硬对硬，上上枪刺与日军展开肉搏。终于，号称天下无敌的梅村师团，在黄昏时分倒在了中国宪兵坚忍不拔的精神的面前，仓皇地丢下上千具尸体撤退。值得一提的是，在拼刺刀的战斗中，梅村的那把宝刀被中国宪兵的战士缴获，梅村自己也被砍伤了胳膊，幸得部下掩护才保住了一条性命（这在武士道精神中可谓奇耻大辱），而中国宪兵也付出了惨重代价，50多名战士长眠在雨花台上。