据《茂名县志稿》(民国编)记载，东晋年间，高州潘村（高州根子镇潘坡村）有个年轻人叫潘茂名，他非常喜欢游山玩水。有一天，他走进一座深山，看到两个老人在下棋，就走上前驻足观看。老人问他：“孺子颇解此耶？”潘茂名回答说：“入由蛇窦，出似雁行。”老人觉得这个年轻人与众不同，就收他为徒弟，教以长生夜视之术。潘茂名在此日夜苦学二十年，炼成了大还丹和小还丹。

    潘茂名学成归来后，回到了家乡，那时候高州城一带地势低洼，江河汇聚，每逢雨季洪水泛滥，毁田摧屋，滋生百病，百姓生活很艰难。潘茂名弘扬“以人为本、济世利民”的道学思想，制作神效的丹药，在粤西一带施医救药，扑灭了多年来肆虐百姓的瘟疫，深受粤西人民敬仰。

    潘茂名悬壶济世的事迹传到了朝廷，皇帝认为他德高望重，就下诏让他进朝当官，还赏赐他很多金银财宝，但潘茂名不为所动，先后三次拒绝了朝廷的邀请，专心在粤西一带施医赠药，惠及桑梓。遇到瘟疫肆虐，他就潜心研丹，冒死试药，止疫安民，深受岭南民众敬仰和朝廷赞扬。

    为了表彰潘茂名的功德，隋开皇十八年(公元五百九十八年)，朝廷以其名设立茂名县。唐贞观八年(公元六百三十四年)，又以其姓设置潘州，治茂名县，并沿革至今。直到现在，高州境内仍保存着大批与潘茂名有关的文化遗迹，包括浮山故里遗迹、炼丹水井遗迹，以及潘仙亭、潘仙祠等名胜古迹。