“后宮佳麗三千人，三千寵愛在一身”，這是白居易描寫楊貴妃的千古名句。楊貴妃與唐玄宗的愛情故事千百年來廣為流傳，不論是新舊《唐書》等官方記載，還是民間筆記小說、文集，關于她的傳聞眾說紛紜。在《中國野史大觀》中就有關于她與安祿山私通的記載。

安祿山，是營州地方的雜種胡人，小名軋犖山。他的母親阿史德氏，是突厥族女巫，沒有子女，就向軋犖山禱告，山神答應了她的請求，于是她就生了安祿山。安祿山出生的那天夜里，紅光四射，野獸四鳴，善于望氣的人看見有一顆妖星光芒四射地落在他們的帳篷里。當時張仁愿派人搜查他們的帳篷，沒有收獲，就把其他人不論老少都殺掉了。安祿山被人藏了起來，沒有被殺。各種奇異怪兆不可勝數，他母親感到很神奇，就給他取名軋犖山。他年幼時父親就死了，隨母親住在突厥族里。他母親后來嫁給了突厥將軍安波注的哥哥安延偃。

安祿山憑借奸詐殘忍，詭計多端，并善于揣摩人的心意，一路升遷，最終被授范陽長史兼御史大夫，成為唐明皇的寵臣。但是這個胡人，卻是心術不正，既想奪下大唐江山，又想染指貴妃楊玉環。

他知道，要讓唐玄宗放松警惕，他必須要做出一副憨厚樣，只有這樣，才能讓唐玄宗對他與楊貴妃的相處不致生出醋意，于是他就利用自己是蠻夷之人這一點大做文章。

一天，安祿山前往御花園游覽，唐玄宗和皇太子都在花叢的樹蔭下納涼，老遠就看見安祿山便揮手招呼他過來。安祿山快步上前拜見唐玄宗，故意不拜太子。唐玄宗說：“卿怎不拜太子？”安祿山裝傻說：“太子是哪一級的官爵，讓臣拜他像拜陛下那樣？”明皇笑道：“朕千秋萬歲(指死)之后，代我而做天子的，怎能按官爵論高低呢？”安祿山說：“臣是下愚之人，以為臣等應盡忠報效的除了陛下之外，不應再有別的人，因此冒犯了太子的威嚴。”明皇看了太子一眼說：“這個人如此老實憨厚，實在是可愛極了。”

這時候楊貴妃也趁著風和日暖，乘坐香車徐徐而來，手指安祿山問道：“這個人是誰？”明皇告訴她說：“他是平盧節度使，姓安名祿山，原本是塞外之人，雄壯有力，勇猛無敵，朕愛他忠誠直率，留京師跟在身邊。”繼而又笑著說：“祿山曾經是張守珪的養子，今日侍候朕，也就像是朕的養子。”楊貴妃說：“誠如陛下所告諭，這個人可說是個好孩兒。”明皇笑道：“妃子以為是個好孩兒，那就把他當兒子撫養吧。”楊貴妃眼睜睜地看了安祿山好半天，笑而不答。

祿山聽了這話，趕忙起身走到階前，叩拜楊貴妃說：“臣兒今祝母妃千歲。”明皇聽了，笑著說道：“祿山你失禮了，要拜母親，必須先拜父親才是。”祿山對明皇磕頭作揖說：“臣本是塞北胡人，胡人的習俗是母在先父在后。”明皇與楊貴妃都說：“從這件事也足見他心直口快，有啥說啥。”這時左右的杯盤已經擺好，三人手執金杯，開懷暢飲，楊貴妃微醉，更增添了幾分嬌冶艷麗、傾城傾國之色，流露于杯酒之間。

安祿山早就聽說楊妃的美貌，今日得親睹芳容，欣喜之情不可言狀，這回和妃子認做母子，將來聚的日子無盡無休，因此一個壞心眼，就乘著醉意如潮涌起。楊貴妃本來是一個水性楊花的女人，不管漂亮與否，只愛惜少年，喜歡壯士，今日見安祿山膘肥體壯，鼻梁高隆，英雄氣概可掬，因此一個不良的念頭也隨著春水蕩漾而來。二人淫心邪念，一拍即合，宮廷的穢亂，此時已露出端倪。

有一次安祿山進宮后，楊貴妃用錦繡做成的大襁褓裹住安祿山，讓宮人用彩轎抬起，歡呼聲震天動地。玄宗派人去問在于什么，去的人報告說：“是貴妃為兒子安祿山洗身，洗好了之后又把他裹了起來，所以歡聲動天。”如此荒唐的事安祿山都能忍受，贏取貴妃芳心對他來說當然不難。

這段記載也見于《太真外傳》中，因此在《紅樓夢》中有一段描寫秦可卿臥室時的文章有“傷了太真乳的木瓜”之說，可見民間廣泛流傳其與安祿山的穢聞，但這些都不見于正史記載。想象一下在后官森嚴的封建盛世，出現這種情況也不太可能，因此多數歷史學家也不贊同這種說法，其真相還需進一步的考證。