Les caves occupent toute la longueur du refuge.
Entièrement voûtées par une alternance de pierres en tuf taillé et de remplissage de moellons de calcaire, elles sont divisées en trois parties séparées par des cloisons également en pierres taillées.
Initialement, trois soupiraux destinés à l'aération s'ouvraient sur l'esplanade, mais ils n'ont pas été refaits lors des reconstructions du bâtiment et sont aujourd'hui malheureusement obturés.
L'accès aux caves se fait par un escalier bordant le pignon nord du refuge.
Nouveau : sur le mur bordant l'escalier de la cave, un QR code donne accès à une vidéo sur le Prieuré à travers les âges, en réalité virtuelle augmentée, via son smartphone.
Ces caves ont été partiellement déblayées en 1991 puis réhabilitées en 2003. On peut y voir le travail soigné des encadrements des portes en pierres taillées qui datent du XVIIe siècle.
Au sol, existe encore une calade d'origine, avec une rigole bien marquée pour évacuer les eaux de ruissellement.
Le local Elzéar est un petit édifice de 6 mètres carrés environ, qui porte le nom du dernier ermite l'ayant habité jusqu'en 1880.
Adossé à la falaise à l'est et à la façade sud du 'monastère', il est transformé en refuge. Il est en retrait de 4 mètres par rapport à celui-ci.
Sa façade soignée a été réalisée en pierre de Bibémus, comme celle du monastère. Elle comporte à gauche une fenêtre avec appui en saillie et encadrement en relief.
À droite, se trouve une porte entourée de bordures en pierres taillées. La date de sa construction est légèrement postérieure à celle du 'monastère'. Il a moins souffert que les autres édifices mais a été partiellement reconstruit en 1965.
Après diverses utilisations, dont celles de logement pour un visiteur, puis pour des ermites successifs et enfin par des bergers, ce local sert actuellement de remise pour les brouettes, la bétonnière et divers matériaux.