Los restos más antiguos hallados en el lugar son unos sillares de granito similares a los del acueducto romano, lo que hace suponer que en tiempos de la dominación romana de la ciudad ya hubo de haber un castro o fortificación. Sobre los restos de éste, el alcázar fue erigido como fortaleza hispano-árabe. La primera noticia documental que se conserva del edificio data del año 1122, poco después de que Alfonso VI de León reconquistase la ciudad, aunque no es hasta el año1155 cuando aparece citado con la denominación de alcázar, en una carta custodiada en el archivo de la catedral. Fue residencia del rey Alfonso VIII. En 1258, reinando Alfonso X, se hundió el palacio cuando el rey se encontraba en su interior. Este núcleo más antiguo corresponde con la sala de armas. Fue numerosas veces restaurado y ampliado, posiblemente desde Alfonso X hasta Felipe II. A este último se debe su aspecto actual, su "silueta" lo hace único entre los castillos españoles.

En la Edad Media, por su seguridad como por la proximidad de zonas de caza, el Alcázar se convirtió en una de las residencias favoritas de los Reyes de Castilla, en especial de Alfonso X. Fue habitado muchas veces y llegó a ser uno de los más suntuosos palacio-castillos en el siglo XV.

La fortaleza sirvió posteriormente como prisión de Estado hasta que en 1762 Carlos III fundó en Segovia el Real Colegio de Artillería que tuvo su sede en el alcázar. En 1862, un incendio destruyó las suntuosas techumbres de las salas nobles, que pudieron ser reconstruidas fielmente con posterioridad gracias a la existencia de grabados.

En 1931 fue declarado monumento histórico artístico. En el año 1953 se creó el patronato del alcázar que es el responsable del museo que se puede visitar en su interior.