她曾經是蘇州名門千金，前清著名的狀元宰相潘世恩的后代，原名潘白琴，也叫潘慧素。幼年時期，大家閨秀的母親沈桂香，聘請名師教她音樂和繪畫，所以，她彈得一手好琵琶，繪畫功底也扎實。十三歲時母親病逝，她被繼母王氏，賣到上海的妓院。如此冰火兩重天的際遇，她卻拾掇起無端的愁緒，鋪展出別樣洞天。蘋果日報社長董橋，在那篇《永遠的潘慧素》中描寫三十年代的她：“亭亭然玉立在一瓶寒梅旁邊，長長的黑旗袍和長長的耳墜子，襯出溫柔的民國風韻，流蘇帳暖，春光宛轉，幾乎聽得到她細聲說著帶點吳音的北京話。”

如此旖旎的資質，放在古代是薛濤一流，擺在民國更是當紅花魁。她在十里洋場的上海別號“潘妃”，但她不像別的交際花，接的多是官場客人，她的客人居然是上海白相的二等流氓為主，這些人天天到她家酣暢淋漓地“擺譜兒”，吃“花酒”，她照樣應接不暇地自顧自出“堂差”。民國“黑社會”們大多文著文身，潘妃便在手臂上也刺了一朵香艷的花。所以，每逢想到潘素，首先想到的就是一個手臂刺花的妍麗奇女子，游刃草叢的場景，想著那俗世的歡騰和肆意的熱鬧，還有她置身其中卻不沾染半分俗氣的玲瓏，雖然身世堪傷，卻和“紅顏薄命”扯不上半分關系，甚至還帶著違和的喜感，不禁抿嘴偷樂。

如果不是遇上張伯駒，潘素活色生香的名妓生涯未必結束那么早。這位著名的“民國四公子”之一(其他三位是溥儀的族兄溥侗、袁世凱的次子袁克文、少帥張學良)，其父張鎮芳是袁世凱的表弟、北洋軍閥元老、中國鹽業銀行創辦人。張伯駒的奇異，似乎章回體才能盡興：伯駒出身豪門，玉樹臨風，面若旦角，眉如柳葉，天然一段風情，全蓄注在一雙丹鳳眼中。竟也是，賈寶玉的骨子，納蘭容若的脾性，不顧雙親反對，退出軍界，厭倦功名。從此，讀書、唱戲、寫字、古玩、耽美在名士圈，名副其實一個京城大公子。這么一對奇男異女，金風玉露一相逢，便勝卻人間無數。張伯駒對潘素一見鐘情，當場揮筆寫了副對聯：潘步掌中輕，十步香塵生羅襪;妃彈塞上曲，千秋胡語入琵琶。片語解風韻，寥寥兩行字，把潘素的神態容貌與特長，描摹得淋漓盡致，博得佳人傾心。兩人的熱戀，激怒了已與潘素有婚約的國民黨中將臧卓，臧卓把潘素軟禁在西藏路與漢口路交口的一品香酒店。

哪里料到，情癡張伯駒居然托朋友買通臧卓的衛兵，在一個月黑風高的晚上，孤身涉險，劫走潘素。那是1935年，潘素二十歲，張伯駒三十七歲。從此，兩人一生沉浮，形影相隨。婚后，張伯駒發現了潘素的繪畫天分，不僅大加贊賞，更是著力栽培。在他的引薦下，她二十一歲，便正式拜名師朱德甫學習花鳥畫，接著又請汪孟舒、陶心如、祁景西、張孟嘉等各教所長，同時還讓她跟夏仁虎學古文，這位夏仁虎，便是著名作家林海音的公公。談笑有鴻儒，往來無白丁，潘素精進迅速。張伯駒帶她游歷名山大川，從自然的雄渾奇絕中尋找藝術靈感，此外，張家豐富的名家真跡，更是她學習的范本。

中國現存最早的水墨畫、隋代展子虔的《游春圖》，李白唯一的真跡《上陽臺帖》，陸機的《平復帖》，杜牧的《張好好詩》，范仲淹的《道服贊》，蔡襄的自書詩冊，黃庭堅的草書卷等等，這些聽起來神話般的名字，隨便哪一幅，都是價值連城的國寶。潘素自述：“幾十年來，時無冬夏，處無南北，總是手不離筆，案不空紙，不知疲倦，終日沉浸在寫生創作之中。”張大千夸她的畫，“神韻高古，直逼唐人，謂為楊升可也，非五代以后所能望其項背”。著名文物鑒定家史樹青，曾為潘素的《溪山秋色圖》題跋：“慧素生平所作山水，極似南朝張僧繇而恪守謝赫六法論，真沒骨家法也，此幅白云紅樹，在當代畫家中罕見作者。”

新中國成立后，她的畫曾被作為禮物，送給來訪的日本天皇、英國首相撒切爾夫人、老布什等。她已然是現代首屈一指的青綠山水畫家。畫如其人，潘素的畫，像極了她自己的內心獨白。