根据《世说新语》中的记载，潘安每次外出时，身边都会围绕着一些女子，而这些女子都会手牵着手围着潘安的车子，就连老夫人都迷恋潘安，同时，还会向潘安的车子里投掷水果，直到将潘安的车子装满为止，这就是后来诞生的“掷果盈车”的千古典故。由此可见，潘安的容貌是十分俊美的，居然连老妇人都能迷惑。
在中国历史上，一般描述男子容貌的俊美的话，都会说“面若潘安”。而潘安不仅容貌俊美，他还是一个十分有才华的男子。潘安当时的才情足可以和曹操比肩，他的文采排在西晋文坛二十四位大文豪之首。潘安当时也正是因为自身的才华，才在后来得到了司空太尉赏识，将他举荐为秀才。
有一次，晋武帝司马炎微服私访的时候，曾经自己在田间劳作，这时候同行的文人纷纷作诗赞赏，其他的文人大多都是为了讨好司马炎，但是潘安却是直接作了一首《藉田赋》，因为这首诗，潘安得到了司马炎的赞赏，并且也因此名震天下。
潘安不仅是才子，而且还是一个很痴情的人。当时年仅十二岁的潘安和自己的父亲一起去杨肇家里做客。杨肇有个女儿叫杨容姬，虽然还只有十岁，但是她的美貌却是闻名百里。上门求娶的人家虽然不少，其中不乏达官贵人，但是杨肇却看中了潘安，后来便将自己的女儿嫁给潘安。
潘安和杨容姬婚后的生活也是非常幸福的，两人琴瑟和鸣。只不过，杨容姬最后因病去世了，潘安便一直都没有再娶。而且潘安当时甚至为了照顾自己的母亲，选择放弃官位，即便当时有很多人劝说，但是潘安还是离开了朝堂选择了自己的母亲，可见潘安是个大孝子。
不过，即便潘安的优点有很多，但是他也不是一个完美的人。当时潘安父亲身边有一个叫孙秀的人，孙秀为了官运亨通，于是便对潘安的父亲经常拍马屁，但是潘安却非常讨厌这种人，于是经常的打骂孙秀。而潘安的母亲则是劝阻潘安，但是潘安依然是我行我素。等到后来，孙秀直接做了丞相之后，为了报仇，直接将潘安的家族灭了三族。
因为赵王篡位，囚禁了晋惠帝而自立为王，小人孙秀破天荒地当上了宰相，孙秀原本是潘安父亲潘芘的下人，潘安平时也不喜欢这个见风使舵的人，经常对他冷嘲热讽。孙秀是睚眦必报的人，上位掌权后，公报私仇，构陷潘安、石崇二十四人的集会是“密谋造反”，灭了潘安的三族。