On pense que le temple d’origine aurait pu être construit au 12ème ou 13ème siècle, bien que la première référence documentaire apparaisse au début du 15ème siècle, quand il est consacré au culte chrétien.
En 1550, le cardinal Silíceo en fit une auberge pour les femmes à la vie douteuse, connue sous le nom de «Refuge de la pénitence». Au milieu du XVIIe siècle, le nombre de femmes hébergées diminua considérablement, cette fonction fut donc abolie et resta en tant qu’ermitage de la Vierge Blanche jusqu’en 1791.
Plus tard, il a été utilisé comme caserne, restauré en 1798 pour être dans un état de ruine sévère, pour être plus tard utilisé comme entrepôt militaire et trésor royal. Il a été restauré à nouveau en 1851.
Son nom actuel est dû au fait qu’une copie de la Vierge blanche de la cathédrale y a été conservée jusqu’à la sécularisation du temple en 1791.
Ses heures de visite sont en hiver, tous les jours de la semaine: 10h00 – 17h45; et en été: 10h00 – 18h45
Jours de fermeture: 1er janvier, 25 décembre