這樣有才學又賢德的女子注定不會是皇帝心中的永遠。班婕妤專寵多年，但僅生有一子，且生下數月后就夭折了，年長色衰的班婕妤漸漸不再受到成帝的寵愛。天性好色的成帝久居深宮，對后宮中百依百順的嬪妃失去了興趣，經常外出尋找新鮮刺激。鴻嘉三年(前18)，成帝登基的第十五年，歷史上赫赫有名的趙飛燕、趙合德姐妹出現在他的眼前。

在一次微服巡游中，成帝到陽阿公主府游玩，當時大貴族的府邸里面通常會養著大量的歌女舞姬供人取樂，成帝的好運、大漢的霉運就這樣悄然降臨，西漢的混亂局面在曼妙的歌舞之中不可收拾。

在公主府上，成帝對能歌善舞的趙飛燕一見鐘情，當即將她帶入宮中。飛燕入宮之后，趁著皇帝專寵，又讓成帝把同為歌女的妹妹趙合德也召進后宮。為了使成帝不致移情別戀、另尋新歡，這兩位出身卑賤的歌女開始殘害后宮中的妃子，最先下手的目標是許皇后。只有把皇后除掉，才能控制后宮，從而登上后宮至尊的寶座。

成帝寵愛趙氏姐妹后，對班婕妤更加冷淡，不再聽她規勸，而是任性地縱情聲色，甚至將定期到皇后宮中問候的禮節都丟到腦后。見識短淺的許皇后怨憤之下聽信親姐姐的建議，在宮里設壇詛咒懷孕的王美人等人。正在想方設法陷害皇后而無從下手的趙氏姐妹得知后，當即在成帝面前告了許皇后一狀。

成帝大怒，廢掉許皇后，并把皇后的姐姐處死。扳倒了許皇后，趙氏姐妹仍不滿足，她們誣告班婕妤也參與了此事，想借此機會將這位雖不再受寵，但仍然很受成帝尊敬禮遇的才女一并除掉。

成帝對這位生性高潔的女子了解很深，所以盡管趙氏姐妹言之鑿鑿，成帝還是半信半疑。他思來想去不知如何是好，最后干脆親自去問班婕妤。班婕妤回答得光明磊落：“臣妾知道死生有命，富貴在天，天天修身養德還沒有得到福分，做那些奸邪的事情就更沒有指望了。如果世間真的有鬼神，那鬼神怎么能夠聽信讒言咒語呢？要是沒有鬼神，那些詛咒又有什么意義？臣妾不但不敢做這樣的事情，也不屑于做這類事情！”成帝見班婕妤說得懇切，很受感動，于是賜班婕妤黃金百斤，來彌補自己心中的羞愧和歉疚。可是猜疑的傷害又怎能是黃金所能彌補的呢？

班婕妤雖然暫時逃過一劫，但后宮已經是趙氏的天下，廢掉皇后不久，成帝便立了趙飛燕為后。同時，為了討趙合德的歡心，他又在皇后位置下增設昭儀之位，封趙合德為昭儀。班婕妤眼見后宮不再安寧，不得不為自己想一個全身之策，遠離后宮的紛爭。于是她上書成帝，請求前往長信宮去侍奉王太后。

被趙氏姐妹迷得神魂顛倒的成帝此時哪還顧得上一個韶華已逝的班婕妤，毫不猶豫便同意了她的請求。從此以后，班婕妤就在王太后的宮內過著平淡的生活。

班婕妤晚年時將無法排解的宮怨化作一首首清麗的詩詞，一首《怨歌行》(亦稱《團扇詩》)流傳于后世，成為窺視宮廷怨婦的佳作，留給后世無盡的思緒：“新裂齊紈素，鮮潔如霜雪。裁為合歡扇，團團似明月。出入君懷袖，動搖微風發。常恐秋節至，涼飆奪炎熱。棄捐篋笥中，恩情中道絕。”千載之后，清人納蘭性德為這位才女嘆息道：“人生若只如初見，何事秋風悲畫扇。等閑變卻故人心，卻道故人心易變。”

成帝死后，班婕妤按規矩被派到成帝的延陵做守陵宮女。延陵的陣陣松風伴她走完了孤獨的殘生