Este palacio también es conocido aunque en menor medida como Palacio de los condes de Brizuela por sus primeros propietarios. Se trata de un palacio gótico del siglo XV, ampliamente reformado durante el siglo XVIII tanto exteriormente como interiormente, hasta que en el año 1893 el maestro de obras Lucas García Cardona le dio su actual fisonomía.

En origen fue su propietario don Juan Brizuela y Artés de Albanell, señor de Alcolecha, caballero de la Orden de Montesa, para pasar posteriormente al marquesado de Malferit que fue concedido en el año 1690 a don Francisco Roca y Ripoll, señor de Ayelo de Malferit y de Cairent.

Se trata un gran edificio con fachadas recayentes a la calle Caballeros, calle Mare Vella y a plaza de los Condes de Buñol. Dispone de semi-sótano, planta baja y dos pisos altos. En el primer piso encontramos balcones con balaustrada de obra, mientras que los del segundo piso son de hierro encontrándose rematados por frontones triangulares.

La actual fachada de carácter clasicista, tiene rememoranzas del renacimiento italiano. Dispone de dos puertas idénticas, una de ellas da acceso al palacio propiamente dicho y la otra a un edificio residencial rotulado con el número 20. El escudo que figura en su fachada es de la familia Mercader ya que este linaje entroncó vía matrimonio con los marqueses de Malferit. En el escudo figura el lema de la familia Mercader res li fall (nada le falta).

De las partes que mejor conservan su aspecto antiguo es el patio, parcialmente cubierto y con una escalera colgada bajo la cual hay una columna rematada por un escultura que representa a un unicornio al que la falta el cuerno de la cabeza. Al patio se asoma una galería de madera que vuela sobre él. Por esta escalera se sube al primer piso cuyas salas giran alrededor de patio interior.

Se sabe que el palacio en su origen disponía de almenas pero con el correr del tiempo y las reformas efectuadas las mismas han desparecido. También y después de la Guerra Civil Española, el edificio fue utilizado como Palacio Arzobispal hasta tanto se terminaba la actual residencia del arzobispo.

A destacar el empedrado original que tiene tanto el vestíbulo de entrada como el patio, de adoquines de piedra. Actualmente su interior acoge el Museo L'Iber de los soldaditos de plomo.