1895年到1945年間，日本政府為了展現政治決心，將日本的神社文化帶進台灣。以「一街一庄一神社」為目標，廣建神社，共建造了近200座大大小小的神社，希望從改造信仰開始，使臺灣人成為真正的「皇民」。神社各具功能，在臺北市9座神社中，有奉祀國土經營守護神「開拓三神」的臺灣神宮（又名臺灣神社，原址現為圓山大飯店），有庇佑五穀豐收「倉稻魂命」的稻荷神社（現西門紅樓右側），而很多臺北人可能並不知道，臺灣少數祭祀日本水神的神社，就隱身中山北路旁的劍潭山上。 

          圓山水神社的由來，得從臺北市的自來水說起。1885年，首任臺灣巡撫劉銘傳到任，在北門一帶鑿井供水，由於水源衛生條件不佳，加上潮熱氣候容易孳生病菌，日本人後來歷次攻打臺灣時，發現死於霍亂或瘧疾的士兵竟比戰死沙場的還要多，因此接管臺灣後，便將改善公共水源設施列為當務之急。

         由於居住臺北的日本人最多，第一套飲用水系統很快變在1907年完成，即現今的公館水源地，到了1928年，臺北城人口快速增加，公館的自來水供水量已經不敷使用，於是選定湧泉豐沛的竹子湖與紗帽山新建第二套輸水系統，稱為「草山水道」，歷經4年完工。

         當年草山「水路」從海拔近千公尺的山上是這樣一路往下走的：從竹子湖、紗帽山取水，通過數座接續井貯存起來，然後越過溪谷、河谷時，會進入專門給水流走的陽明溪水管橋、草山水管橋、天母水管路，再到三角埔發電所進行水力發電，產生電源後的水會進入圓山貯水池，最後通過基隆河上的中山橋水管，將 水送進市區，全長超過十幾公里，是全臺第一個設置水管橋的水道系統，也是唯一於系統內包含水力發電的水道，單一系統給水量之高更稱霸全臺。

         艱辛的水道興建工程造成諸多死傷，為了撫慰亡靈，也為了奉請水神守護得來不易的寶貴水源並祈求草山水道營運順利，1938年，即圓山貯水池啟用的7年後，於池的南側興建了水神社。這座見證草山水道及臺北市自來水發展史的迷你神社，就位於捷運劍潭站對面、臺北自來水事業處陽明分處後方山坡上。