Construido a finales del siglo XVIII (1782) en estilo barroco, fue su primer propietario don José María Viudes, primer marqués de Rioflorido. Su escudo labrado por el escultor valenciano José Esteve Bonet campea en la portada de la fachada principal.

Con posterioridad la casa pasó a propiedad del marqués de la Calzada y más tarde a manos de la Casa de Montortal de donde toma el nombre el palacio.

La fachada se articula en dos cuerpos verticales facilmente identificables, el mayor donde se encuentra la portada principal, se compone de planta baja, dos pisos, ático y terraza. En la fachada encontramos dos lineas de balcones con balaustradas de hierro, siendo el situado encima de la portada el que corresponde con el piso principal. El segundo cuerpo situado a la izquierda y más estrecho, se diferencia por los balcones que adquieren la categoria de miradores acristalados realizados en madera.

La portada principal realizada en piedra es adintelada sin adorno alguno, siendo el escudo nobiliario lo único relevante de la portada. Traspasada la puerta encontramos un amplio zaguan cubierto.

En el siglo XIX la fachada sufrió una fuerte remodelación y en 1912 el arquitecto Juan Luis Calvo Catarineu realizó reformas en su interior.

Como dato curioso podemos citar que desde los balcones de esta casa el general Rafael de Riego arengaba a las masas y que por esta casa ha pasado entre otros personajes la reina Fabiola de Belgica.