现常有人用“貌比潘安、貌似潘安”之类的词语形容美男子，而史上潘安“姿容既好，神情亦佳”，时人称他是一个忧郁的美男作家。潘安到底是何方人物？为何又被灭三族？是因为长得太美？他究竟美到何种地步？竟让后人如此赞他为绝世美男？
虽说史书上并没有详细记载潘安到底五官如何、身高几尺，他的美貌却是毋庸置疑的，因为在那时候他就已经有了大批“粉丝”了。潘安每次出去游玩的时候，总有大批少女追着他，那绝对就是个追星的架势。追着潘安的一批批少女老妇又是给他献花，又是给他献果。潘安每次回家的时候，都能够满载而归，这也就成为了“掷果盈车”这个典故的由来。《晋书·潘岳传》里记载有这个小故事。潘岳每次上街都能弄一车水果回来，自然惹人羡慕，而当“时张载甚丑，每行，小儿以瓦石掷之，委顿而返。”《世说新语》中记载的丑男还有左思:“左太冲绝丑，亦复效岳游遨，于是群妪齐共乱唾之，委顿而返。”张载是被小孩子扔石头乱砸，左思则更惨，挨女人们一顿乱唾。张载和左思都是当时著名文人，掷果与掷石、乱唾绝然相反，这让潘岳的名声更大了。
潘安这个风流倜傥、才华横溢的才子，在仕途上却屡屡受挫。司马炎建立西晋后，22岁的潘安任太尉贾充的属吏，他做了一篇《藉田赋》被司马炎大加赞赏，却招致了朝中大臣的忌妒，由于他们从中作梗，潘安十年没有升迁。潘安一生之中做官最高做到黄门侍郎，还做过多年的七品县令。虽然怀才不遇，潘安还是勤政廉明，为官一任，造福一方。此后在政坛屡升屡降，直到元康六年（296年）前后，回洛阳做京官，经常参与依附贾谧的文人集团“二十四友”的活动，从此走上了一条不归路。曾经恃才傲物的翩翩少年如今鬓发花白，饱尝宦海艰辛，学会了趋炎附势。为贾氏外戚集团进行文字煽惑。精彩之笔，当数搞垮太子的阴谋。
那个时候正是贾氏集团呼风唤雨的时候。贾南风想废掉太子，潘安也被搅入了这场阴谋之中。一次太子喝醉了酒，潘安就被安排写了一篇祭神的文章，并让太子抄写。太子早已醉得神志不清，依葫芦画瓢地写了一通。潘安拿到太子写的文章以后，再勾勒几笔，把它变成了一篇谋逆的文章，导致太子被废，太子的生母被处死。虽不是策划者，但潘安在这起阴谋中显然起到了推波助澜的作用。
太子死后，赵王司马伦以为太子报仇为名，联合另外七位司马家的皇族一起发动了兵变，入宫除尽贾氏党羽，史称“八王之乱”。潘岳从前就得罪过赵王，赵王司马伦夺权成功后，他立刻抓了潘安，并判了他一个灭三族。