La primera referencia que tenemos del edificio data de 1693 en una escritura de venta. En esta se refleja a Diego Zurita Puente, hermano del sacerdote de…

La primera referencia que tenemos del edificio data de 1693 en una escritura de venta. En esta se refleja a Diego Zurita Puente, hermano del sacerdote de la iglesia de Santa María del Castillo, como dueño de la residencia, otorgada por el Regidor perpétuo de Cuéllar don Manuel de Vellosillo.No hay más registros hasta 1805, cuando pasó a manos de Tomasa Tamayo por 15.200 reales. Años más tarde fue comprada por don Pedro Alcántara López de Zúñiga, Duque de Peñaranda, Conde de Miranda [...] y su mujer, María del Carmen Josefa López de Zúñiga. El matrimonio murió sin hijos y la casa pasó a Josefa López de Zúñiga y Téllez Girón, casada con el Conde de Montijo. Estos pasaron la propiedad a Cipriana Portocarrero y Palafox, Condesa de San Esteban, Miranda, Montijo [...] que acabaría por dar la casa en herencia a María Francisca de Sales Portocarrero, Palafox y Kirkpatrick, casada con el Duque de Alba y hermana mayor de la Emperatriz Eugenia de Montijo, reina consorte de los franceses entre 1852 y 1870 . De aquí viene la fama y el nombre de esta residencia, ya que si bien la Emperatriz no residía de continuo en el palacio, sí fue utilizada como casa de descanso por la misma, aunque la propiedad haya ido siempre más ligada a los duques de Alba.