El Palacio de los Marqueses de Peñalba fue construido entre 1750 y 1760 para don Vicente Fernández de Córdoba y Valderrama, quinto conde de Peñalba y su esposa Maria Teresa Ferrer de Proxita y Pinós, quizá por Felipe Rubio o por José Herrero. Más tarde pasaría a manos de Miguel Caro, marques de Huarte, por este motivo este palacio también recibe el nombre de Palacio del Marqués de Caro.

Su fachada, con dos torreones rectangulares de perfil curvo en los lados y remates de bolas, recuerda la de otros palacios dieciochescos de la ciudad. Dispone de numerosos balcones con rejeria del siglo XVIII tanto los situados en fachada principal como en la lateral. De entre todos ellos destaca el balcón central de mayor tamaño que el resto.

Destaca además su imponente portada rococó con pilastras situadas en posición oblicua coronadas por sirenas aladas que sostienen el entablamento, y el recercado de piedra con curvas, además del gran escudo que se sitúa en el centro del dintel con las armas de los Fernández de Córdoba, Ferrer de Pròxita, Valderrama y Pinós, con la divisa de los Ferrer "Més que'l que més". Sostienen el escudo dos leones rampantes. Las formas onduladas de los balcones y las líneas que los enmarcan son de estética francesa.

Tras la puerta se abre un espacioso vestíbulo con un gran arco rebajado en el centro y dos de medio punto con balconcillos a los lados, presidido todo con un fresco de la Virgen en la parte superior. Pasado este espacio, se abre una elegante escalera imperial de diversos tramos con descansillos, pasamanos de madera y azulejos valencianos en las contrahuellas. Desde 1975 fue sede de una entidad bancaria y en la actualidad en manos privadas.