现在岁数大点的老上海都知道这样一个说法：“先有淡井庙，后有上海城。”淡井庙，在某种意义上是上海城市地区的“根”。为什么这么说呢？要知道人活着是离不开水的，只有水的滋润才能维持生命。由于靠海太近了，要在上海打出一口淡水井，那是非常不容易的。

当年的老前辈们几经周折，终于在淡井庙附近觅得了淡水井源，所以人们才能在这里生存。关于淡井庙水井的来历，还有一个神秘的传说。当初因为这个地方的神奇，引来“黄浦江神”的垂涎，他想独占这个宝地，于是使尽法术，把黄浦江变成他的铁地盘。但是东海龙王又怎能咽下这口气？带领虾兵蟹将与黄浦江神斗在一起。二人打得天昏地暗，日月无光。

天帝接到千里眼、顺风耳报告后大怒，立即命令二郎神前去制止。当二郎神赶到时，只见江水滔滔，海水滚滚，早已成为一片汪洋。二郎神一看情势危急，赶忙把手中的三尖两刃枪向水中投去。说来也怪，洪水立即退去，各归各位了。二郎神训令江神、龙王不要再任意妄为，否则必遭天谴。从此这里风平浪静，海与河各就各位，再无争斗。

洪水虽然退去了，但大地一片狼籍。最麻烦的是由于江、海的侵袭，老百姓吃水的水源受到污染，水又咸又苦，百姓苦不堪言，于是纷纷烧香祈求菩萨保佑。观音菩萨念百姓心诚，将莲花宝座丢下凡间，并念动咒语，莲花宝座降落之地为神灵之所，必出神水，以养生灵。宝座随风而起，腾云驾雾，来到今上海上空久久徘徊不能离开。观音已知天意不可违，这是上苍为黎民百姓选定的吉地啊。她用手一指，旋转多时的宝座，猛然发出呜呜的声音，随即急速下降，只听惊天动地一声巨响，宝座所坠之地形成一口深井，深不可测，水清澈无比，甘甜润心，井口还不断冒出丝丝缕缕雾气。