Edificado sobre los restos de una fortaleza romana, fue sucesivamente transformado desde Alfonso VI (s. XI) hasta Felipe II (s.XVI).

Fue residencia de los Reyes de Castilla durante la Edad Media.

El "palacio viejo" fue ampliado en el siglo XV, con las salas del Solio, de la Galera, de las Piñas, de Reyes, del Cordón y la Capilla. La gran torre almenada es llamada de Juan II, a quién se debe su imagen actual.

Felipe II lleva a cabo las obras del patio de armas y las empinadas cubiertas de pizarra. Entre los siglos XVII y XVIII fue prisión de Estado y posteriormente en 1764 se convirtió en Real Colegio de Artillería.

Sufrió un gran incendio en 1862. El arquitecto D. Antonio Bermejo y Arteaga dirigió las obras de reconstruicción desde 1882 a 1896.