1902年8月17日，蔣先云生于湖南省新田縣大坪塘鄉(xiāng)大坪塘村，父親蔣繼堃是清末秀才，為人忠厚正直;母親肖玉秀，樸實勤勞;蔣先云兄弟姐妹8人，蔣先云排行最小，1917年他考入湖南省立第三師范學(xué)校。“五四”期間，在毛澤東的領(lǐng)導(dǎo)下，蔣先云任湘南學(xué)生聯(lián)合會第一屆總干事，與夏明翰、黃靜源共同領(lǐng)導(dǎo)組織湘南25個縣學(xué)生罷課運動。他在校期間組織革命團體“心社”，創(chuàng)辦《嶷麓警鐘》月刊，開了湘南革命組織之先河。

身為湘南學(xué)生運動領(lǐng)袖，蔣先云頗得毛澤東的贊賞。1921年，經(jīng)毛澤東介紹，蔣先云加入了中共，第二年，蔣先云參與了與李立三、劉少奇組織領(lǐng)導(dǎo)的安源路礦大罷工，隨即成長為工人運動領(lǐng)袖。1924年春，黃埔軍校第一期開始招生，吸引了全國一大批有志青年踴躍報名。蔣先云也由中共湖南黨組織選派，經(jīng)毛澤東、夏曦、袁達時介紹投考黃埔軍校。當時考試要求非常嚴格，報考者要經(jīng)過初試、復(fù)試、總考試三關(guān)，先在全國19個省區(qū)進行招生初試，然后再到上海、重慶等市進行大地區(qū)范圍的復(fù)試，合格后方可到廣州參加總考試。

時任國民黨中央候補執(zhí)行委員的毛澤東，負責(zé)國民黨上海執(zhí)行部工作，并負責(zé)黃埔軍校在上海地區(qū)(長江流域及其以北各省)考生復(fù)試工作。蔣先云通過初試、復(fù)試后，到達廣州參加總考試。總考試包括國文、數(shù)學(xué)、歷史、地理等科目，在1200余名考生中，蔣先云名列第一。令人驚嘆的是，從入學(xué)開始一直到畢業(yè)考試，蔣先云囊括了所有科目成績的第一名，且與陳賡、賀衷寒并稱“黃埔三杰”。廖仲愷驚嘆他是“軍校中最可造就的人才！”據(jù)周恩來回憶，蔣介石也把蔣先云視為自己最得意的學(xué)生。蔣先云也因之而成為了唯一獲得毛澤東與蔣介石共同賞識的學(xué)子。

當時按照國共兩黨合作的決策，在軍校里要求師生們一律參加國民黨，由于蔣先云進校前已經(jīng)參加了共產(chǎn)黨，也遵照學(xué)校的決定參加國民黨，成為跨黨的黨員，由此他成為了國共兩黨都倚重的驕子，師生敬重的寵兒，一面揚威軍校內(nèi)外的旗幟。蔣介石曾聲言：“將來革命成功后解甲歸田，黃埔軍校這些龍虎之士只有蔣先云才能指揮。”1924年3月19日，蔣先云從上海回到長沙，與李祗欣(湖南省醴陵縣人，李立三同志的胞妹，中共黨員)喜結(jié)良緣。

蔣先云在黃埔軍校期間很活躍，擔(dān)任中共黃埔特別支部第一任書記，在廖仲愷、周恩來的幫助下，他牽頭創(chuàng)建中國青年軍人聯(lián)合會并任主席，發(fā)表了多篇革命文章，成為黃埔軍校最有影響力和威望的學(xué)生，影響了一大批青年軍人(包括開國元帥徐向前、紅軍高級將領(lǐng)左權(quán))，很多有志青年軍人把“青年軍人聯(lián)合會”作為他們革命精神的寄托，會員由開始的2000多人迅速發(fā)展到20000多人，活動范圍由黃埔軍校延展到在廣東的軍隊和滇、桂、湘所設(shè)的軍校，進而遍及全國，成為一代青年軍人中大部分走革命道路的導(dǎo)航站。后來從黃埔軍校走出了許多共產(chǎn)黨人，很大一部分原因是與蔣先云等人的宣傳鼓動和思想灌輸分不開的。

1925年初，蔣先云畢業(yè)留校，擔(dān)任校長蔣介石的秘書。2月，“小蔣”隨“老蔣”參加第一次東征，兩次負傷;6月在廣州平定“楊劉”叛亂中，只身帶領(lǐng)一個連沖進市中心，占領(lǐng)了滇軍總指揮部，立下奇功;8月又參加第二次東征，已擔(dān)任第1軍3師7團黨代表的他在三次負傷的情況下，親率敢死隊一舉攻占了“歷史上從未被攻克過”的惠州城。