Lors de la démolition du prieuré, les ouvriers n'auraient jamais réussi à transporter un gisant de Saint-Robert. La tradition rapporte même qu'un attelage de douze chevaux n'auraient pas réussi à le bouger. Le propriétaire des lieux a alors décidé d'ériger une chapelle dédiée à saint Robert.