El edificio, gótico en origen, sufriría una fuerte remodelación hacia el siglo XVIII, adaptándolo a un tipo de vivienda más acorde al gusto barroco del momento. El edificio que tiene como vecino al palacio de los Mercader, alza su fachada principal con ladrillo visto, al igual que los elementos de revestimiento, los balcones adintelados con antepechos de hierro y los adornos barrocos formados por frontones partidos, del superior. En su fachada encontramos tres grandes pilastras gigantes de orden compuesto que dividen la fachada en tres paramentos verticales.

Consta de semisótano, planta baja, piso entresuelo, piso principal y segundo piso. De su fachada destacan cuatro balcones en el piso principal o noble y otros tantos mas pequeños en el segundo piso. Decorados los del primer piso en su parte superior con frontones partidos, los dos de los extremos son curvos, mientras que los dos centrales son rectos. Distribuidos por distintos lugares de la fachada encontramos decoración con máscaras burlescas. En la fachada lateral recayente a la calle Salinas, dispone de un solo balcón del mismo tipo que los anteriormente citados.

El palacio se distribuye en torno a un gran patio central formado por cuatro crujías. Nada más traspasar la puerta entramos en la primera crujía, se halla cubierta y a nuestra izquierda vemos una pequeña escalera que conduce al semisótano. Una segunda crujía con techo descubierto nos conduce a dos espacios más grandes como consecuencia del ensanchamiento de las dos crujías restantes, las cuales todas ellas están cubiertas. Esta combinación compartimentada se divide por una serie de arcos carpaneles realizados en ladrillo que se sustentan sobre pilares de piedra. Una escalera en el lateral izquierdo da acceso al piso principal. Esta distribución del patio es la huella más cercana de su anterior pasado gótico ya que todo el interior del palacio ha sufrido múltiples reformas a lo largo del tiempo.

Árbol genealógico Condes de Alpuente

Hacia principios del siglo XIX el palacio fue adquirido por John Hollier Cotton y su esposa Anna Shelly, de origen irlandeses, pero afincados en Valencia. Una de las hijas, Isabel Hollier y Shelly contrajo matrimonio con José Carrión y Sáenz de Juano y tuvieron una hija de nombre Mariana Carrión y Hollier que contrajo matrimonio en 1860 con Francisco Javier de Aspiroz y Montalvo, II conde de Alpuente y de quienes toma nombre el palacio, ya que la esposa del conde, recibió de sus padres en herencia el palacio. De cualquier modo, la familia de los condes de Alpuente tenían fijada su residencia en Madrid y el palacio solo era usado en las contadas ocasiones en que los propietarios venían a la ciudad, estando el palacio ocupado por inquilinos de mayor o menor poder económico.

Mientras el palacio estuvo en manos de la familia Hollier, estos realizaron reformas en el palacio, de hecho sobre la portada se podían ver las iniciales I. H. correspondientes a Isabel Hollier, estas desaparecieron en una de las reformas de finales del siglo XX. Posteriormente el palacio fue adquirido por la familia Oller, sustituyendo el escudo de la puerta por el de los Morales, que a la postre es el que ahora vemos en el dintel de la portada.

Fue sede de la Real Sociedad Económica de Amigos del País de Valencia, luego propiedad del famoso escultor y pintor Manolo Valdés, olim Manuel Valdés Blasco (* Valencia 08-03-1942) que efectúo una fuerte reestructuración en el interior del caserón y que distorsionó lo poco de original que tenía el palacio. En 1992 fue adquirido por Agustín Diez Cisneros († Valencia 05-09-2018) como sede social de su empresa de ingeniería. En la actualidad el palacio se encuentra a la espera de mejores tiempos. En los techos de la escalera principal el pintor Julio Marcos Caparrós realizó unas pinturas al fresco con temática de inspiración clásica, pinturas que desconocemos si todavía perduran con el trascurrir del tiempo.