老子山是洪泽湖西南岸一座美丽的水乡名镇。这里本是大别山余脉，群山逶迤，淮河从其西侧流过。相传很早很早以前，老子山是座没有人烟的无名小山，山上长满了参天大树，遍地野花芳草。山的北侧，是一望无际的广阔洼地，洼地中分布着许多小湖泊，其中比较有名的就是破釜涧和白水塘。在破釜涧和白水塘周围，由于气候温和，土壤湿润，到处生长着茂盛的芦苇和莆草，每逢芦苇和莆草成熟季节，周边的人们就成群结队地到这里收割芦苇和莆草，晒干以后运到山上堆存，于是，人们就将这里的诸山称之为“芦莆山”。
到了春秋末年，诸候纷争，天下大乱，瘟疫流行，百姓苦不堪言。原来在周朝王室当守藏史官的老子（姓李名耳，字伯阳）深感周朝大势已去，复礼无望，于是弃官隐居，在民间讲学传道，医病救人。那时他外出已没有乘车坐辇之尊，只好骑着青牛到处浪迹，经常出现于陈蔡彭沛之地（今河南、皖北、苏北一带）。一个偶尔的机会，老子骑着青牛踏上了淮楚大地，来到了芦莆山下，一见此处山色清秀，淮水潺潺，旋生在此采药炼丹，普救民疾之意。于是停止了跋涉，白天上山采药为民治病，晚上就住在山洞里修身养性。老子在这里解救了无数人的病苦，最后功德圆满，杳然而去。
唐宋时期，这里已人烟稠密，列宅为市。由于当时道教盛行，乾封元年（公元666年），老子被唐高宗封为“太上玄元皇帝”，并于武宗年会昌年间敕建老子庙。宋真宗时，老子又被加封为“太上老君混元上德皇帝”。这样，老子就成了人们心目中无限崇尚的神圣仙人。为了永远怀念老子的功德，人们遂将芦莆山改称为老子山。后来人们发现：在北山有一岩洞，四壁如削，洞深丈许，内有石床、石几，便称为是老子住所，誉为“仙人洞”；在中山西侧淮河畔有一堵巨石，上有鼎脚之痕，四周石皆殷红，便以为老子曾在此砌炉炼丹，并把岩石都烧红，故称之为“炼丹台”；在南山南麓又有一块潜伏巨石，上有蹄形之穴，穴内常年积水，清澈见底，不溢不涸，汲而复生，寻则无泉脉相通，人皆称奇，便认为这是老子乘青牛西去函谷时留下的蹄痕，故称之为“青牛迹”。为此，“仙人洞夕照”、“炼丹台怀古”、“青牛迹闻莺”、“凤凰墩观淮”也就成了昔日老子山令人神往的四大景观。