根据第一次世界大战之后签订的凡尔赛条约，战败的德国只能拥有不超过10万人的陆军力量。此时停战后的德国国内政局动荡不安，各种“革命”运动在全国境内纷纷爆发，许多地方成立了私人部队和中央政府暗地或者公开对抗，而来自东部邻国--波兰由退役军人组成的右翼极端组织“自由军团”（Freikrops）的侵袭也对德国本土的治安造成了严重的威胁。于是为了应付这一局面，在首都柏林组建一支常备军事组织就显得极为重要。
1921年，一支名为“柏林卫戍团”(Wacht Regiment Berlin）的部队成立了--这也就是”大德意志“部队的前身，这支新组织的职责不仅仅是镇压革命暴动，而且还要承担起平时的检阅和保安的作用，但是该团就在同年6月被解散。
不久之后，在刚刚解散的柏林卫戍团基础上又成立了一支“总部卫戍队”（Kommando der Wachtruppe），这支部队驻守在首都直到1934年。在每个星期一，星期三，星期五和星期六，卫戍队的士兵们就要在公共场合举行换岗仪式，而在星期天，星期二和星期四，全部的卫兵就要在军乐队的伴奏下，从莫阿比布特军营（Moabit）出发，穿过市中心的勃兰登堡门（Brandenburg），直到战争纪念碑。
总部卫戍队的卫兵们来自全德国的7个师，每个师抽出一个连的卫兵，每个连要在卫戍队内服役3个月，然后再回到他们的原部队。
1934年，总部卫戍队该名为“柏林卫戍队”（Wachtruppe Berlin），次年其在最初的7个连基础上增加了一个连--本部连，负责整个卫戍队的指挥管理。1937年6月，这支部队又被重新被命名为“柏林卫戍团”。而当时冯·弗里契上将（Generaloberst von Fritsch）亲自下令：所有加入该团的成员必须是其原部队中操练成绩最优秀成员。另外应征者的身高上必须超过1。80米.所有卫戍团士兵的肩章上都绣有哥特字母“W”；并且每日还额外可以得到一个格罗申（Groschen--注：德国货币单位，相当于四分之一便士）作为值勤补贴，每个士兵的标准服役期是6个月。后来在原有建制上又增加了一个军械连，但是大约只有50%的成员能回到他们原来的部队。
其实在一次大战中，“德国”与其说是一个国家，倒不如说只是一个概念更准确些，其军队在名义上仍然属于不同的地区，例如：普鲁士（Prussen），巴伐利亚（Bavarian），萨克森（Saxon）等等。1933年希特勒上台后，他理想建立一个完整的国家，这个国家不仅仅只包括德意志（Deutschland），还包括在凡尔赛条约中“被迫”从德国分出去的周边国家的日尔曼人地区，甚至全欧洲的德意志族人地区（Volksdeutschland），这个理想国被希特勒称之为“大德意志”（Grossdeutschland）——这也是后来“大德意志”部队名称的由来。
而此时崛起的纳粹政权为了向全世界展示新德国的面貌，扮演一个在世界范围内重要的政治角色，开始了包括对周边国家出访，拍摄宣传记录片（例如1936年首映记录1934年纽伦堡党代会的《意志的胜利》，获得纳粹国家奖，威尼斯电影展金奖和巴黎电影节法国政府大奖等一系列奖项。1938年4月20日首映记录1936年柏林奥运会的《奥林匹亚》，共获得四个国际大奖）和在本土举行世界级的重大赛事（1936年第11届柏林奥运会）等一系列的活动，以提高其在世界范围内的声誉。
在这些活动中维持会场安全秩序的光荣任务一直都是由柏林卫戍团担当，他们身穿笔挺的军服，在雄壮军乐中埋着整齐步伐的身影出现在各国电影宣传片和报纸图片中。
而到了1938年，希特勒到各个新占领地出访的活动开始多了起来，为了保卫元首在各地的安全，柏林卫戍团抽调其下属2个连中的机械化排；组成了一支秘密称呼为“元首旅途”（Führer Reise）的近卫组织，其指挥官正是后来大名鼎鼎的“沙漠之狐”埃尔温隆美尔---这也是后来“元首护卫师”的前身。
