En 1588 fray Ambrosio Mariano de San Benito, nacido Ambrosio Mariano Azzaro (* Bari-Italia 1510 † Madrid 1594) fraile carmelita descalzo colaborador en sus fundaciones de Santa Teresa de Jesús (* Gotarrendura-Ávila 28-03-1515 † Alba de Tormes-Salamanca 04-10-1582), de visita por Valencia, obtiene del Arzobispo de Valencia San Juan de Ribera permiso para fundar un monasterio de la Orden de las descalzas del Carmen (carmelitas). Procedentes del monasterio de Villanueva de la Jara en la provincia de Cuenca, un grupo de monjas carmelitas descalzas se instalan en una casa cercana a la actual Parroquia de San Juan de la Cruz, entonces de San Andrés, mientras tanto se construye el convento.

El lugar escogido para la construcción del nuevo convento fue la plaza del Portal Nou, entonces intramuros de la ciudad y muy cercano al lienzo de la muralla y al Portal de San José hoy desaparecido. En 1609 el convento aunque no estaba terminado pudo ser habitado y las monjas ocupan el nuevo monasterio que recibirá el nombre de Convento de San José y Santa Teresa, aunque popularmente se le conoce simplemente como de San José. Las obras del convento se dilatarían hasta 1628.

La vivencia castellana y teresiana del fundador fray Ambrosio Mariano, dota al convento de un orden clasicista de raíces castellanas, además de dotar al mismo de una sencillez constructiva, de la que la propia Santa Teresa de Jesús recomendaba en sus fundaciones. Su construcción se atribuye a Jeroni de Villanueva, maestro obrero de la ciudad fallecido en 1658 y enterrado en la iglesia.

El convento de dimensiones reducidas disponía de iglesia, claustro, salas conventuales y jardín o huerto.

La iglesia es la parte que mejor conserva su aspecto original a excepción de la decoración interior realizada en el siglo XVIII. El templo es de planta de cruz latina, una sola nave de tres tramos, coro alto de clausura a los pies, nave de transepto poco sobresaliente en planta y presbiterio o cabecera de testero plano. Las naves se cubren con bóvedas de cañón con lunetos, el crucero con cúpula semiesférica y cimborrio cuadrado con pequeños vanos. Unido al testero de la nave del transepto por su lado del evangelio se levanta la sacristía de planta rectangular en dos tramos. En las pechinas de la cúpula del crucero podemos ver cuatro frescos de principios del siglo XVI: el profeta Elías (con una espada en la mano) confortado por un ángel, San José entregando la Cruz al Niño Jesús, aparición de la Virgen a San Juan de la Cruz y el Éxtasis de Santa Teresa.

Adosadas al primer tramo de la nave central y contiguas a la nave del transepto, dos capillas de planta cuadrada, una de ellas cubierta con bóveda de arista y la segunda en el lado del evangelio con cúpula semiesférica y lunetos. Esta se encontraba bajo la advocación de Santa Teresa de Jesús. El segundo tramo de la iglesia dispone de arcos fomeros que miran al interior del templo, se encuentran cegados y sin capillas. El tercer tramo se encuentra separado de la nave central por un cerramiento de madera que hace a este espacio forma de vestíbulo. Encima de este tramo se encuentra el coro alto de las monjas que abre al interior de la iglesia a través de ventanas enrejadas propias de la clausura.

El convento se construyó con ladrillo y algunas partes enlucidas. Los tejados se cubren con tejas árabes, destaca el tejado de la cúpula del cimborrio que se dispone a cuatro aguas en forma piramidal, que sin ser alto, destacada sobre el resto de las construcciones del convento. El convento dispone de una pequeña espadaña de dos vanos en lugar de torre campanario siguiendo las tendencias clásicas castellanas. Dispuesta en la parte superior del tejado, alcanza cierta altura sobre el convento.

En la segunda mitad del siglo XVIII se efectúa una gran reforma en el convento, principalmente en la iglesia. La Capilla de Santa Teresa pasaría a ser panteón de la familia de los Verdes-Montenegro, linaje de origen gallego afincados en Valencia. Tal vez sea de esta época la construcción de la cúpula que cubre la capilla. En las pechinas se pueden ver cuatro bajorrelieves alusivos a la vida de Santa Teresa: Visión que tuvo la Santa en que la Virgen y San José la vestían con un manto azul y un collar, Jesús entrega un clavo a Santa Teresa, Santa Teresa y el Niño Jesús y la comunión de Santa Teresa.

Además hacia 1765 se efectúan obras en el noviciado, se cambia el suelo de la iglesia, se realizan reformas en el coro alto y se abre una ventana para su iluminación como podemos observar en la fachada principal encima de la portada. En 1768 se instala un nuevo Retablo Mayor en sustitución del anterior, obra del aragonés Juan Miguel de Orliens que ya había realizado el Retablo Mayor de la Iglesia de los Santos Juanes. Este nuevo retablo que ardería en 1936 contenía tallas de José Esteve Bonet y fue realizado entre 1767 y 1768. El interior de la iglesia se redecora a partir de 1768 con una decoración de tipo rococó pero bastante contenido; el interior se llena de rocallas, estucos, volutas, cartelas, hojarascas, florones y conchas, todo en dorado. Todas estas reformas fueron sufragadas por la familia Verdes-Montenegro.

Destacaba este convento por su elevado número de obras de arte que guardaba su interior y sobre todo por la decoración de zócalos de azulejos cerámicos, sobre todo en el zaguán, en el locutorio y en la iglesia, azulejos de Manises de los siglos XVII y XVIII. Destaca en la antigua capilla de Santa Teresa, luego renombrada como de la familia Verdes-Montenegro un zócalo de azulejos en la que destaca un panel cerámico con el escudo del linaje. Este escudo es el mismo que podemos ver en la casa-palacio de los Escriva y Boil.

En 1965 la zona conventual fue derribada en parte por deterioro y en parte por los daños sufridos en la riada de 1957. Se volvió a levantar de nueva planta esta zona, quedando de su antigua fábrica solamente la iglesia. Las obras concluyeron en 1974.

La última gran reforma efectuada en el convento se realizó entre 1978 y 1979 consistentes en obras de consolidación y adecentamiento. Se retiraron los dos pequeños retablos que estaban en los brazos del transepto, también se retiro el retablo del Altar Mayor instalado después de la Guerra Civil y se renovó el piso de la iglesia y el coro alto. Las obras de reforma de la iglesia fueron supervisadas por el arquitecto Luis Gay Ramos (* Valencia 1912 † Valencia 1966).

La fachada principal con formas clasicistas, está formada por tres cuerpos separadas por líneas de impostas. En el cuerpo inferior se abre la puerta adintelada flanqueada por dos jambas planas acasetonadas. En el segundo cuerpo una hornacina con una imagen reciente de San José y por encima de esta, una ventana que sirve para iluminar el coro y que se abrió en 1765. El tercer cuerpo lo forma un frontón triangular en cuyo centro se abre un óculo. La fachada se remata con sencillos y escasos adornos de bolas.

Durante la Guerra de la Independencia, una sobrina del Mariscal francés Suchet profesaba en el convento, y por intercesión de esta el convento fue respetado y no sufrió saqueo alguno. Comentar que las tropas francesas del general Suchet entraron en la ciudad de Valencia por el portal de San José situado junto al convento. El 13 de mayo de 1931 el convento fue asaltado e incendiado por milicias republicanas y el retablo mayor de Orliens quemado y en 1957 en la famosa riada de Valencia, el convento sufrió una gran devastación.

En 2007 el número de religiosas era mínimo y la orden ha vendido el convento a un industrial valenciano para construir un hotel de lujo. Las monjas no tuvieron otra idea que vaciar las obras de arte del convento y arrancar de manera poco respetuosa parte de los zócalos cerámicos de todo el convento, lo que llevó a que muchos de ellos se rompieran. Enterados los medios de comunicación del destrozo, tuvo que intervenir la Generalitat y la Justicia y en la actualidad los azulejos se encuentran depositados en el Museo de Bellas Artes de Valencia en depósito, en tanto la Justicia establece la titularidad y la responsabilidad de los daños sufridos. Las monjas se han trasladado al convento que la Orden del Carmen tienen en la cercana población de Serra.

En la actualidad la zona conventual, de escaso valor artístico permanece vacío. La iglesia después de sufrir una reforma no agresiva en el interior pero algo anacrónica, está dedicada a centro cultural y gastronómico con el pomposo nombre de Convent Carmen, y probablemente a expensas de una nueva remodelación más en profundidad como hotel de lujo. El nombre de Convent Carmen hace alusión directa al Barrio del Carmen donde se ubica y a la cercanía del Convento del Carmen, hoy Centro Cultural.