Colindante con la fachada trasera del conocido como Palacio del Temple, en el barrio de la Xerea, se levanta este edificio de corte neoclásico realizado en el siglo XIX. Construido en torno a 1840 sobre otro anterior de época gótica del siglo XIV, su actual estructura se compone de planta baja, semisótano, entresuelo, planta noble (primera planta) y segunda planta. Adopta el edificio una planimetría irregular adaptada al entorno donde se encuentra inmerso.

La única fachada visible es la principal y una pequeñísima parte de la lateral. La fachada se resuelve en el primer piso con balcones decorados con frontones curvos, mientras que la portada es adintelada exenta de decoración. En el segundo piso desaparecen los balcones y los vanos se transforman en ventanas decoradas con un recercado. Los antepechos de balcones y ventanas son de hierro forjado.

El escudo de armas de la familia se localiza en la esquina del edificio que adopta forma ondulada. El título de marqués de Caro le fue concedido en 19 de junio de 1882 al que fue alcalde de Valencia Nicolás García Caro Vergés y Agustí (* Mataró, Barcelona 23-12-1818 † Valencia 29-08-1886), anteriormente militar de profesión, casado en segundas nupcias con Rosa Ferrer de Plegamans (* Requena, Valencia 1826 † 06-12-1913). El escudo de armas que figura en la fachada se corresponde con las armas de ambas familias. La casa palacio había sido adquirida por Nicolás García Caro en 1868.

En el interior, el acceso a la planta principal se realiza por una escalera de mármol que recibe luz cenital por una claraboya. El palacio dispone de una torre miramar de planta rectangular solo visible desde la lejanía.

En la actualidad el edificio ha sido reconvertido en hotel y restaurante de lujo habiendo sido reformado en su estructura interna para tal fin. Durante los trabajos de restauración y rehabilitación han aparecido un trozo de lienzo de la muralla musulmana del siglo XII, que han sido integrados en la zona del restaurante. Estos restos consisten en un lienzo de la muralla musulmana (siglo XII) y restos de una de las torres defensivas, que conserva los arcos musulmanes originales. También se han localizado restos del antiguo palacio gótico, así como elementos romanos reaprovechados en la muralla islámica.

A Nicolás García Caro Vergés y Agustí, I marqués, le sucedió en 1889 en el título, su hijo Nicolás García Caro y Ferrer de Plegamans (II marqués), casado con Rosalía Escardó y Settier. En 1929 su hijo José María García Caro y Escardó sucede en el título como III marqués. A este le sucede en 1985 su hermano Luis García Caro y Escardó (* 1912 † Requena, Valencia 1988), conde de Plegamans. El título actual (V marqués) lo ostenta desde 1990 el hijo Luis García Caro y García de Leonardo (* 1947).