Edificio construido en el siglo XVIII en estilo académico. Consta de planta baja, entresuelo, piso principal y segundo piso. La parte baja construida en sillería mientras que la superior está realizada con ladrillo cara vista. La portada de entrada situada en la fachada principal es adintelada y en la actualidad carece de escudo de nobiliario.

Dispone de un patio interior central alrededor del cual giran las distintas dependencias de la casa y otro patio posterior habilitado hoy día como terraza o jardín.

Durante la Guerra Civil, el palacio fue utilizado por la Embajada de Suecia. Al finalizar la guerra la familia Martínez de Vallejo lo alquilaron a la Escuela de Magisterio hasta que esta tuvo su propia sede y el mismo quedó abandonado. En 1997 la casona fue rehabilitada en su totalidad y en la actualidad es Colegio Mayor Universitario Rector Peset.

En su interior se pueden contemplar restos de la muralla islámica del siglo XI (Sala de la muralla), y del antiguo palacio se han conservado la Torre Miramar del siglo XVIII y la cúpula con linterna del siglo XIX que corona la caja de la escalera principal.

En el arco del vestíbulo de entrada podemos contemplar un fresco, obra del pintor Damián Flores Llanos (* Acehuche-Cáceres 18-08-1963) que conmemora el X aniversario del Colegio Mayor.