文武天皇の御代（６８３〜７０７）に役えんの小角（役行者）によって小さな庵が建てられる。その庵は、養老２年（７１８）に一間四面のお堂に建て替えられ、巨松山檀特寺と号するようになった。これが小松寺の起源とされる。その後、衰退や復興を繰り返し、承安４年（１１７４）、開基第１世玄海により中興。江戸期には徳川家康より12石７斗、里見義康から53石６斗の寄進をうけ、広い山林と田畑をもつ修行道場ともなり、多くの僧が集う寺院となったが、安政元年（１８５４）、火災により全焼。現在の小松寺は、本堂正面の龍の彫刻に刻まれた年号から、安政２年（１８５５）に再建されたと考えられる