康安２年（１３６２）、足利将軍家の祈願所として創建された由緒ある寺院である。昭和10年、この寺を訪れた北原白秋は「高蔵寺しづかやと散葉眺めゐて梢の柿のつやつやしいいろ」と境内の情景を詠みあげている。当寺は「三輪院」とも呼ばれ、三輪の里山の頂に寺院を構え、「七福神と石楠花寺」として親しまれている。石楠花の開花期間は3月下旬から5月の上旬だが、見頃は4月中旬から下旬にかけて。