第35軍是解放軍歷史上壽命最短的軍之一，從1949年2月組建到1950年1月撤編只存在了一年。35軍最初由吳化文的起義部隊組成。吳化文部追根溯源為馮玉祥的西北軍。首任軍長也是末任軍長是吳化文。

吳化文，一生四次叛變五易其主，他1904年出生于山東掖縣，8歲隨父母遷居安徽省蒙城，1920年離家出走，投西北軍馮玉祥部當(dāng)兵，升為排長、傳令官。因為人乖巧機(jī)靈被馮玉祥器重，1923年，入北京教導(dǎo)團(tuán)學(xué)習(xí)，繼又被馮送進(jìn)北洋軍閥開辦的陸軍大學(xué)深造，畢業(yè)后回馮玉祥部任師參謀長。26歲背叛馮玉祥投靠韓復(fù)榘。1930年棄馮玉祥投奔韓復(fù)榘，先后任高級教導(dǎo)團(tuán)團(tuán)長、手槍旅旅長兼濟(jì)南警備司令等職。

韓復(fù)榘被處決后，他是抗戰(zhàn)中第一個被處決的高級將領(lǐng)，為何被殺，三種說法見仁見智，1938年1月，吳化文所在部隊被蔣介石改編為獨(dú)立二十八旅，他任旅長。魯南臺兒莊失守后，其部被改編為新四師，吳任師長兼山東保安第一師師長。抗戰(zhàn)初期，率部先后在泰安、萬德、虎門、柳河等地與日軍作戰(zhàn)。1939年，日軍“五一大掃蕩”，他率部在臨朐與敵鏖戰(zhàn)竟日，重創(chuàng)日軍，受到八路軍的贊揚(yáng)。39歲投靠日偽當(dāng)漢奸。1943年，他投靠漢奸汪精衛(wèi)，晉見日軍侵華總司令岡村寧次，被委任為日偽第三方面軍總司令，協(xié)同日軍進(jìn)攻八路軍。41歲時日寇投降，漢奸當(dāng)不成了，他再次投靠蔣介石。出任第五路軍司令兼津浦鐵路南段司令，執(zhí)行蔣介石“防止共軍占據(jù)鐵路交通”的命令。1945年至1948年腳踏兩只船，只圖保存實力。1945年10月其一部被人民解放軍擊潰。為擺脫困境，保存實力，他于1946年7月與中共聯(lián)系，表示愿意站到人民方面。1947年3月，蔣介石對山東解放區(qū)發(fā)動重點進(jìn)攻，吳化文又繼續(xù)追隨蔣介石，時任國民黨整編八十四師師長。

1948年7月，被王耀武保薦為整編96軍軍長，防守濟(jì)南西線。1948年8月，中國人民解放軍包圍濟(jì)南，在外迫內(nèi)促之下，他終于在 9月16日率2萬名官兵戰(zhàn)場起義。后改編為中國人民解放軍第35軍(下轄第103、第104、第105師)，吳化文任軍長，保持原有建制，為華東野戰(zhàn)軍直屬部隊。淮海戰(zhàn)役初期，35軍在后方整訓(xùn)，第三階段時，粟裕下令35軍南下參戰(zhàn)，在宿縣集結(jié)作預(yù)備隊，未參加戰(zhàn)斗。？1949年1月淮海戰(zhàn)役結(jié)束，華野全軍休整。中旬，35軍與魯中南縱隊(屬華野第2兵團(tuán))合并，下轄的三個師(第103、第104、第105師)。原吳化文部縮編為三個團(tuán)。各個師中吳化文部有一個團(tuán)，魯中南縱隊兩個團(tuán)。魯中南縱隊在解放戰(zhàn)爭初期，與吳化文部為死敵，反對合并，認(rèn)為這是“包辦婚姻”、“強(qiáng)迫婚姻”。陳毅出面工作，他在賈汪會議總結(jié)時說：“華野編16個軍，4個兵團(tuán)。魯中、渤海、江淮三個縱隊不編，充實三個起義部隊。這樣合編對起義部隊的進(jìn)步是有幫助的，向他們說清楚我們沒有把他們當(dāng)雜牌看待，也沒有當(dāng)客人看待，而當(dāng)自家人一樣。”。魯中南縱隊的人對此依然不服，后召開全軍干部大會，吳化文檢討了自己歷史上的罪惡，矛盾才緩和下來，完成35軍的整編。2月9日，華野發(fā)布整編命令，改稱第三野戰(zhàn)軍。軍以下按三三制設(shè)師、團(tuán)、營，師、團(tuán)的番號則按全軍序列排列。

中國人民解放軍第35軍的主要戰(zhàn)績就是占領(lǐng)南京了。1949年4月20日，民國政府拒絕中國共產(chǎn)黨的和平方案。子夜起，第三野戰(zhàn)軍和第二野戰(zhàn)軍開始強(qiáng)渡長江，渡江戰(zhàn)役開始。35軍因準(zhǔn)備執(zhí)行“攻占浦口，炮擊南京”而暫歸第八兵團(tuán)指揮，擔(dān)任對南京守軍鉗制和監(jiān)視任務(wù)。21日，35軍進(jìn)攻江浦、浦鎮(zhèn)、浦口。清晨104師攻克江浦縣城。103師全殲江浦的守軍。22日深夜占領(lǐng)浦口。由于原定接管蕪湖、南京的陳賡第四兵團(tuán)尚在江西湖口和安徽望江地段，轉(zhuǎn)到南京，需十多天。于是鄧小平與劉伯承商定取消第四兵團(tuán)接管南京的任務(wù)。改由第八兵團(tuán)擔(dān)任南京城防任務(wù)。24日凌晨，35軍104師312團(tuán)3營率先占領(lǐng)總統(tǒng)府。4月29日，粟裕命令三野第八兵團(tuán)的24軍前往南京接防，35軍調(diào)往杭州。1950年1月16日，軍委命令，第30軍和第35軍番號撤銷。35軍軍部調(diào)歸海軍，所轄三個師分別調(diào)歸浙江軍區(qū)并兼幾個軍分區(qū)。1952年5月15日，浙江軍區(qū)的第104師與其它9個師一起集體轉(zhuǎn)業(yè)，改編為工程部隊及屯墾部隊。