1950年3月，胡宗南黯然來到臺(tái)灣，暫且安身在花蓮。這時(shí)，當(dāng)年曾統(tǒng)帥40萬大軍的他，身邊只剩下了6名隨從。

失敗的陰影，前途的渺茫，都讓胡宗南的心情極為低落。到花蓮后，他時(shí)或出去散心，他在王曲軍校的學(xué)生孔令晟則伴隨著他。有一天，胡宗南走過花蓮體育館，來到海邊，“突然”對(duì)孔令晟說：“我們應(yīng)該在什么地方自殺啊？這里真沒有意思啊！”

孔令晟回答：“要自殺，不如在成都，可以跟我們的部隊(duì)一起自殺;到了西昌就沒什么意思了，部隊(duì)已經(jīng)沒有幾個(gè)人了。”

在此時(shí)的臺(tái)灣，不僅僅是胡宗南一個(gè)人感到“沒有意思”，與他處于相似境地的還有閻錫山、白崇禧、湯恩伯、孫立人、薛岳……時(shí)任“代總統(tǒng)”的李宗仁雖然沒有和他們一樣去臺(tái)灣，而是去了美國(guó)，但境遇的落寞則是一致。當(dāng)年手握重兵的他們，如今不但成了敗軍之將，失去了叱咤風(fēng)云的舞臺(tái)，甚至還會(huì)面臨來自國(guó)民黨內(nèi)部的人身威脅。

不過，雖然他們所處的環(huán)境差不了多少，但各人的反應(yīng)卻是不同，有的從容處之，有的卻局促不安。

“我們不應(yīng)該到這里來”

在花蓮，當(dāng)自殺的念頭閃過后，胡宗南對(duì)他的部下說：“我們不應(yīng)該到這里來。”此時(shí)，面對(duì)浩瀚的太平洋，他仍對(duì)自己的部隊(duì)念念不忘。在他的第一軍中，許多將官都是他一手從王曲軍校帶出來的，而這些人大都已在川西零落殆盡。

根據(jù)王曲軍校學(xué)生徐枕的說法，胡宗南原本是打算留在西昌的，當(dāng)時(shí)蔣介石讓他飛往臺(tái)灣，但是他不肯走，而是對(duì)部下說：“今天我跟你們喝一杯，送你們走。”最終，胡宗南是被部下“拉”上飛機(jī)的。

然而到了臺(tái)灣，他的厄運(yùn)并沒有結(jié)束。剛剛飛到臺(tái)灣時(shí)，蔣介石和陳誠(chéng)都沒有見他，到了花蓮，也沒有人來看望他。不僅僅如此，失去了部隊(duì)的他，現(xiàn)在甚至要為整個(gè)國(guó)民黨政府的失敗負(fù)責(zé)。

1950年5月，臺(tái)北“監(jiān)察院”內(nèi)，45名“監(jiān)察委員”氣勢(shì)洶洶地聯(lián)名彈劾胡宗南。這一篇洋洋數(shù)千言的彈劾文在列舉了胡宗南進(jìn)駐陜甘后的權(quán)力膨脹后，又歷數(shù)了他在西北、四川的一連串?dāng)】?jī)，認(rèn)為國(guó)民黨政府之所以會(huì)“失去大陸江山”，胡宗南“應(yīng)負(fù)重大之罪責(zé)”。

這一場(chǎng)彈劾案迅速在小小的臺(tái)灣掀起軒然大波，來臺(tái)的胡宗南部屬憤憤不平，要到“監(jiān)察院”去鬧事，但都被胡宗南壓了下來，他認(rèn)為，是非自然會(huì)有公論，“假如應(yīng)該我負(fù)的責(zé)，我當(dāng)然要負(fù)責(zé)。”

領(lǐng)軍多年的胡宗南，在這個(gè)時(shí)候表現(xiàn)出了常人少有的鎮(zhèn)靜。最終，這一場(chǎng)彈劾案在各方面的斡旋下不了了之，使胡宗南避免了“軍法會(huì)審”。

但是，經(jīng)歷了這一場(chǎng)風(fēng)波后，胡宗南那“西北王”的歷史也徹底劃上了句號(hào)。正如他認(rèn)為國(guó)民黨之?dāng)〔粚賯€(gè)人責(zé)任，而是整個(gè)體系的失敗一樣，蔣介石也是這么認(rèn)為的。于是，敗退到臺(tái)灣后的蔣介石迅速對(duì)國(guó)民黨展開了“改造”，全面更換舊的黨政系統(tǒng)，原有的黃埔、中統(tǒng)、CC、政學(xué)系等皆被清除，一批完全擁護(hù)蔣介石、蔣經(jīng)國(guó)父子的新實(shí)力派被培養(yǎng)起來，這其中最為得力者即為陳誠(chéng)的“土木系”。

那些國(guó)民黨的“老人”們，則在這一場(chǎng)“改造”后幾乎全部失勢(shì)。胡宗南再也得不到蔣介石的重用，只一度擔(dān)任了大陳島“浙江反共救國(guó)軍”總指揮和澎湖防衛(wèi)司令等職。雖然職位并不突出，但是胡宗南做得很認(rèn)真，并短暫登上大陸的土地。

但是胡宗南和他的家眷、部屬是再也沒有機(jī)會(huì)真正回到大陸了。在擔(dān)任澎湖防衛(wèi)司令時(shí)，每次領(lǐng)到薪水，他只留1/3給自己和家人，其余的幾乎都給了部屬，以維持他們的生計(jì)。后來其部屬王應(yīng)文的兒子回憶說，那時(shí)有人到胡宗南家里去，坐沙發(fā)都要小心，因?yàn)椤澳莻€(gè)沙發(fā)太舊太爛，一不小心會(huì)給他坐搖晃”。

1962年，胡宗南66歲，這一年春節(jié)期間，他因心臟病發(fā)作，病逝于臺(tái)北榮民總醫(yī)院。他的王曲部屬們，則每年為他舉行低調(diào)的紀(jì)念儀式。