仙寓山的名字来自佛教。根据《池州府志》记载:“相传有建德(今东至县)的檀氏女子,在此修道,故山庵以仙。据说这檀氏八字太硬,找不到婆家,还没有迎娶,男人就死了。之后,她连许9个人,死了9个人,再也没有人敢来提亲。檀氏无助,找到算命先生。一个算命师让她倒骑白马,自己寻找生路。
檀氏倒骑白马来到一座云雾缭绕的大山里,白马止步。檀氏心有所悟,便在西峰寺旁的潘姑洞修行,她潜心修道,不久便得道成仙。为了纪念她,西峰寺住持建了一座供仙姑娘娘的“仙寓庵”。从此,仙姑修行的这座山就叫“仙寓山”。