Aussi populairement connu sous le nom d’Hôpital de Afuera car il se trouve à l’extérieur des murs. Il est situé dans un tel endroit en raison des ordonnances municipales de l’époque, qui interdisaient expressément aux bâtiments destinés aux sanatoriums de se trouver dans la zone urbaine. Sa construction est due au cardinal Juan Pardo Tavera, qui a donné son nom au bâtiment, et elle a commencé en 1541 par Alonso de Covarrubias. Au milieu du XVIe siècle, Hernán González de Lara, qui était jusqu’alors gréeur, prit la relève, qui fut en charge des travaux jusqu’à sa mort en 1577. C’est alors que Nicolas de Vergara el Mozo prit le commandement, laissant empreinte de style sur l’église de l’hôpital, où le fondateur est enterré.
Actuellement dans le bâtiment il y a une école primaire, les archives de la noblesse et un magnifique musée.