開創当時のことは不明だが、天正年間（１５８０年代）、中興の祖・賢栄法印により、昔の寺地である妙音寺原から現在地に移転。当時は小田原北条氏の雨乞い祈願所として庇護を受けていた。江戸時代には時代の荒波を受けて衰退し、長期にわたり無住となったが、大師信仰を求める地域信者や檀信徒の献身的な協力により伽藍や境内の維持がなされ、現在は「花の寺」として広く知られている。