伝説によると、道教南宗五祖の一人である白玉蟾は、道を得て仙人になった後に南山で隠居し、この木の下に不老長生の丹薬を作たり、座禅したりしていた。日が経つにつれてこの巨石にその座っていた痕跡が残された。そのため、この巨石は「仙壇」と呼ばれた。