La chapelle Notre Dame de l'Olive, située au Nord-est du village, daterait entre le VIIIème et XIème siècle. La tradition attribue l'origine du sanctuaire au Comte Olivier de Terme, chef de l'armée chrétienne, lieutenant de Pépin le Bref et de Charlemagne, qui a promis d'élever un oratoire à la Vierge s'il reprenait aux espagnols le village de Castelmaure.
il obtint la victoire, lança son épée, et fit élever un sanctuaire là où elle retomba. Ce n’est pas pour l’esthétique qu’il faut visiter ce sanctuaire, mais il est certain que Notre Dame de l’Olive a toujours été un lieu de pèlerinage, dont la fête du 8 Septembre reste chaque année une grande manifestation religieuse pour demander la pluie avec les vendanges.