平安時代の 807（大同2）年、長者が夢の中で白髪の老翁から「御神体が海岸に漂着しているので拾ってまつるべし」と告げられた。御神体は、お告げどおりに鉾島で見つかり、これを琴石山南に建立し、まつったのが始まりといわれている。
いつしか運命の神、縁結びの神といわれるようになり、明治中期までは大祭の日には境内はもとより山のふもとの道端にまで露天商が並んだという。栗を売る店が多く、参詣者はこれを買って神前に供え「運命に勝つ」と祈った。供えた栗は、あらかじめ供えられた栗に代えて持ち帰ったという。これは、やがて男女が供えた栗をとり交わして恋の成就を祈願する風習に変わっていった。
秋の例祭では、盟神探湯神事がある。この湯を飲むと、厄除けすると伝えられている。
