苏仙观位于城东苏仙岭顶端,座北面南,占地南北长82.2米,东西宽41.5米,原是一座始建于唐代的砖木结构、楼阁式三进庑殿道观建筑。
苏仙观本为三座宫观。《嘉庆郴州总志》记载:“苏仙下观,州东北五里,即传称鹤覆鹿乳处,旧有桂五株,扶疎苍翠,布席其下,最称名胜;苏仙中观,在苏山半岭,青松夹道,云气缭绕,旧名景星观,唐廖道士居之;苏仙上观,在苏山绝顶,州守范廷谋匾曰:去天不远。联句曰:江山同一览,风景并千秋。”
“鹤覆鹿乳”指苏耽刚出生时仙鹤为他御寒,白鹿给他哺乳,因此苏仙下观又名乳仙宫,今改名桃花居。
人们多称苏仙上观为苏仙观。