弘安3年（１２８０）にはすでに天台宗の寺として栄えていたという。宝徳２年（１４５０）、国峰城主小幡実高が中興開基となり曹洞宗の寺として再興。小幡氏が滅ぶと、元和２年（１６１６）、織田信長の孫、信良が小幡藩主となり、菩提寺を宝積寺と定めた。本堂右手前に立つ菊女観音像は小幡信貞の腰元のお菊の霊を慰めるために建てられたもので「子ども授かりの観音さま」として参拝者が絶えない。病気平癒の身替地蔵、ふれ愛観音も信仰を集めている。小幡七福神（なで布袋尊）、上州観音霊場第19番札所でもある。