奈良県桜井市の長谷寺を総本山とする真言宗豊山派の寺院。応安4年（１３７１）、城主の茂呂勘解由左衛門源義輝が城内にあった光円坊を改めて香華院とし、弘法大師の刻んだ不動明王を祀り、道照上人を開山の師として帰依したことに始まる。「茂呂不動」とも呼ばれ、北関東三十六不動尊霊場にも数えられている。退魔寺という名前は、石田三成が伊勢崎を通った時、寺の近くの光円橋に毎夜妖怪が現れ、庶民が難儀しているのを聞き、それを退治したことに由来していると云われており、その際、寺紋を石田氏の紋にしたとある。本尊の大日如来を安置する本堂は寛政4年（１７９２）に改築したものである。