Conocido también popularmente como el Hospital de Afuera al encontrarse extramuros. Se encuentra en tal ubicación debido a las ordenanzas municipales de la época, que prohibían expresamente que los edificios destinados a fines sanatorios estuvieran dentro del casco urbano. Su construcción se debe al cardenal Juan Pardo Tavera, quien dio nombre al edificio, y comenzó en el año 1541 a cargo de Alonso de Covarrubias. A mediados del XVI tomó el relevo el que era hasta entonces aparejador, Hernán González de Lara, quien se encargó de las obras hasta su fallecimiento en 1577. Fue entonces cuando tomó el mando Nicolás de Vergara el Mozo, que dejó impronta de su estilo en la iglesia del hospital, donde está enterrado el fundador.
Actualmente en el edificio hay un colegio de educación primaria, el Archivo de la Nobleza, y un magnífico museo.
