En 1356 (siglo XIV) bajo el Obispado de Hugo de Fenollet (1348-1356), se creó la Cofradia de la Virgen del Milagro, cuyo fin era dar asistencia y ayuda a los sacerdotes pobres de la ciudad. En 1394 se construyó un Hospital y una Iglesia dedicado a tal fin. De sus origenes apenas queda nada ya que sufrió importantes reformas en los siglos XVII y XVIII que le dieron su actual configuración.

Formado por un claustro de dos galerias, alrededor de los cuales giran las distintas dependencias y celdas de los monjes. Destaca la que ocupó el santo valenciano San Luis Bertran hasta el momento de su muerte. El claustro y las celdas tienen valiosos paneles cerámicos del siglo XVII.

La iglesia formada por cinco tramos tiene su acceso a traves de una puerta adintelada en cuya parte superior encontramos una imagen en piedra de tradición gótica con influencias francesas, bajo un doselete de traza ojival que apoya en una mensula también gótica. La imagen que ahora vemos es una copia del original que se haya en el Museo de la Catedral.

Al interior cabe destacar la Capilla de la Comunión, cubierta con bóveda de cañon con lunetos y escasa decoración.

En el año 2003 el arquitecto Vicente Noguera Puchol, renovó el interior del edificio para acondicionarlo como residencia para la tercera edad.

En la fachada de la calle Trinquete Caballeros encontramos un panel de cerámica dedicado a la Virgen bajo la advocación de Nuestra Señora de la Consolación.