1955年2月，國務院頒布決定，將原來的 6個大軍區，改劃為 12個大軍區，即：沈陽軍區、北京軍區、濟南軍區、南京軍區、廣州軍區、武漢軍區、昆明軍區、成都軍區、蘭州軍區、新疆軍區、西藏軍區、內蒙古軍區。

時任總參謀長的粟裕，受命主持此次軍區體制改革。在軍委擴大會議上，粟裕作了《關于全國軍區劃分的幾個初步方案》的發言，共提出六種軍區劃分的方案。其中第一種方案——在海陸邊防劃分六個軍區——東北、華北、山東、東南、華南、云貴，為準備戰區，屬于集團軍（實際提升為方面軍級）；在內地劃分8個軍區——川康、西藏、新疆、甘青、陜西、河南、湖北、內蒙古，為戰略儲備區，屬于軍級（實際提升為集團軍級）——獲得多數認可。在對內地軍區適當合并后，最終形成了上述12個軍區的劃分。

如此劃分軍區，與中國決定加入冷戰蘇聯陣營，直面原子彈威脅，有很大關系。

1954年9月，彭德懷率高級軍事代表團訪問蘇聯，親身參觀、體驗了原子彈爆炸的威力。1954年底，蘇聯籌組“華沙條約集團”，張聞天代表中國參加會議，發表聲明支持會議的一切決定。1955年1月，毛澤東親自主持中央書記處擴大會議，決定向核國家進軍。同月，芬蘭大使履新，向毛澤東描述美國氫彈的巨大威力，毛澤東強硬回應：“如果再來一次戰爭，就算中國一國傷亡到第二次世界大戰的全部死傷人數，那我們還有五億多人。美國想用恐怖嚇倒我們，但是嚇不倒我們。”

2月，粟裕在軍委擴大會議上，如此解釋此次軍區劃分：“鑒于現代科學技術的發展和在今后戰爭中可能廣泛使用原子武器，當帝國主義者決定發動戰爭時，可能利用其所謂‘原子優勢’采取不宣而戰，對我進行閃擊。為了應付敵人的突然襲擊和今后更復雜的戰爭情況，……須以敵人兵力及其可能進攻的方向、地形條件、交通狀況以及我軍的戰略意圖、作戰方向和今后戰爭可能發展的趨勢，作為軍區劃分的主要依據。”

值得關注的是，此次改革之后，各大軍區的司令員和政治委員的年齡，幾乎全部集中在40-50歲之間；“少壯派”將領被推上了第一線。

“十二大軍區體制”一直持續到1985年，期間略有變化。

1956年，為加強對臺斗爭，增設福州軍區。1967年，鑒于中蘇關系嚴重惡化，為防備蘇聯，內蒙古軍區被降為省軍區，劃入北京軍區。1969年，為便于對西南邊防的資源支持，西藏軍區被降為省軍區，劃入成都軍區。

1973年，因林彪之死，毛澤東親自主持了一場“八大軍區司令員對調”——“文革”期間，軍隊以“三支兩軍”的名義介入地方，幾乎所有省、市、自治區“革委會”主任和黨委書記，都由各大區司令員、省軍區司令員兼任，可謂“軍政合一”。八大軍區司令員對調后，“不再兼省委書記”、也不再兼任“革委會”主任，使地方得以再次軍、政分離。