A l’origine, ce petit local de 6 m2 situé dans le prolongement du monastère et en retrait de celui-ci était sans doute destiné à abriter un visiteur de passage. Après l’abandon du Prieuré au 18è siècle, il fut occupé par des ermite dont le dernier en date, nommé Elzéar, le quitta en 1881. Depuis, ce petit bâtiment porte son nom.
En 1955, ce local en ruine , ne présentait plus qu’une façade encore debout.
Sa reconstruction fut entreprise en 1959. La voûte, le plancher et le mûr arrière furent refaits. La porte et les volets en bois furent remis en place et un petit escalier d’accès de 4 marches fut construit. L’espace situé devant et encontrebas, délimité par un mur dans lequel est pratiquée une ouverture voûtée, fut comblé pour faciliter le passage vers la brèche des moines..