Se cree que el templo original pudo haber sido construido en el siglo XII o XIII, aunque la primera referencia documental aparece a principios del siglo XV, cuando está consagrado al culto cristiano.
En el año 1550 el Cardenal Silíceo lo convirtió en albergue de mujeres de vida dudosa, siendo conocido como “El Refugio de la Penitencia”. A mediados del siglo XVII el número de mujeres alojadas disminuyó considerablemente, por lo que se abolió esta función y se mantuvo como Ermita de la Virgen Blanca hasta 1791.
Posteriormente fue utilizado como cuartel, siendo restaurado en 1798 por encontrarse en un severo estado de ruina, para luego ser utilizado como almacén militar y Real Hacienda. Fue restaurado nuevamente en 1851.
Su nombre actual se debe a que allí se guardó una copia de la Virgen Blanca de la Catedral hasta la secularización del templo en 1791.
Su horario de visita es en invierno, todos los días de la semana: 10:00 – 17:45; y en verano: 10:00 – 18:45
Días de cierre: 1 de enero, 25 de diciembre
