Nada se sabe de los orígenes de este castillo, uno de los más antiguos de Europa. Huellas romanas, visigoda y árabes dan paso a su actual arquitectura que data del siglo XV.

La historia del castillo, que fue residencia de Abderramán el Grande, así como de los reyes de Castilla y León durante la Edad Media, está entreverada de leyendas. La más popular de ellas es la de los amores trágicos de la bellísima doña Elvira, señora del castillo, y del monje Roberto que, habiéndose amado de adolescentes, se reencuentran al cabo de los años cuando el monje es nombrado capellán del Conde Ridoura, marido de doña Elvira y señor del castillo.
Al regreso de la Batalla de las Navas de Tolosa el Conde descubre la infamia, mata al monje clavándole una corona de hierro e incendia la torre en donde se ha refugiado la despavorida Condesa.

Tras la ocupación por Enrique IV, pasa más tarde a manos de los Condestables de Castilla, para entrar en las historia de Europa cuando alberga rehenes, a raíz de la batalla de Pavía, a los hijos de Francisco I de Francia hasta que se firma el tratado de Cambray.

Transcurría el año 1925 cuando con ocasión de sus continuas visitas a Segovia desde París, el pintor Ignacio Zuloaga se interesó por el castillo, entonces abandonado y en eminente estado de ruina, adquiriéndolo y acondicionándolo parcialmente. Desde entonces fue uno de sus lugares preferidos de descanso y trabajo. Aquí realizó sus célebres obras Eufemio, Paisaje de Pedraza y alguna otra.

Es de destacar, en la sobriedad del conjunto, el frente del cierre amurallado franqueado por los dos cubos de las Torres, la puerta de entrada original del siglo XV en álama negro, la gran torre del Homenaje, el patio de armas con algibe románico y los arcos, que destacan con fuerza en el conjunto de los muros vaciados de su estructura interior. El castillo de Pedraza es hoy un castillo sin apenas más que sus muros y sus fosos, con sus torres desmochadas, que levanta la masa imponente de su conjunto en la ladera norte de la colina rocosa donde se asienta Pedraza de la Sierra. El emplazamiento es verdaderamente espectacular, sobre la vega del río Cega, con el pueblo de La Velilla en el bajo y dominando desde su privilegiada atalaya, con su severa silueta, uno de los horizontes más bellos de toda Castilla.

Anualmente, desde 1983, entre los meses de junio y julio, en el espléndido marco de su patio de armas, se celebran importantes conciertos que pretenden fomentar progresivamente el ambiente cultural de Pedraza.