Colindante con la fachada trasera del conocido como Palacio del Temple, se levanta este edificio de corte neoclásico realizado en el siglo XIX.

Construido sobre otro anterior de época gótica del siglo XIV, su actual estructura se compone de planta baja, entresuelo, planta noble (primera planta) y segunda planta. Adopta el edificio una planimetria irregular adaptada al entorno donde se encuentra inmerso.

La única fachada visible es la principal y parte de la lateral. La fachada se resuelve en el primer piso con balcones decorados con frontones curvos y portada adintelada exenta de decoración. En el segundo piso desaparecen los balcones y los vanos se transforman en ventanas decoradas por un recercado. Los antepechos de balcones y ventanas son de hierro fundido.

El escudo de armas de la familia se localiza en la esquina del edificio que adopta forma redondeada. El titulo de Marqués de Caro le fue concedido en 1882 al alcalde de Valencia don Nicolás Garcia Caro Vergés y Agustí (Mataró 1818 - Valencia 1886), anteriormente militar de profesión, casado con doña Rosa Ferrer de Plegamans. El escudo de armas que figura en la fachada se corresponde con las armas de ambas familias.

En el interior, el acceso a la planta principal se realiza por una escalera de mármol que recibe luz cenital por una claraboya. El palacio dispone de una torre de planta rectangular sólo visible desde la lejanía.

En la actualidad el edificio ha sido reconvertido en hotel y restaurante de lujo habiendo sido reformado en su estructura interna para tal fin. Durante los trabajos de restauración y rehabilitación han aparecido un trozo de lienzo de la muralla musulmana del siglo XII, que han sido integrados en la zona del restaurante.

Estos restos consisten en un lienzo de la muralla musulmana (siglo XII) y restos de una de las torres defensivas, donde se conservan los arcos musulmanes originales.