Construcción barroca del siglo XVIII, esta realizada en ladrillo visto como elemento de revestimiento, balcones adintelados con antepechos de hierro y adornos barrocos formados por decorativos frontones partidos, en su parte superior. En su fachada encontramos tres grandes pilastras de orden compuesto.

Consta de semisótano, entresuelo, piso principal y segundo piso. De su fachada destacan cuatro balcones en el piso principal y otros tantos mas pequeños en el segundo piso. Decorados los del primer piso en su parte superior por frontones partidos, los dos de los extremos son curvos, mientras que los dos interiores son rectos. Distribuidos por distintos lugares de la fachada encontramos decoración con mascaras burlescas.

Aun dispone de otro balcon del mismo tipo que los anteriormente citados, en la fachada recayente a la calle Salinas.

El palacio se distribuye en torno a un patio central descubierto que dispone de grandes arcos carpaneles. Dispone de una escalera de piedra que da acceso al piso principal.

El antiguo edificio de estilo gótico, fué adquirido por la familia irlandesa de los Hollier, que lo reformó en el siglo XVIII en estilo barroco y colocó su escudo en el dintel de la portada. Una descendiente de los Hollier casó con el II Conde de Alpuente (Francisco Javier de Aspiróz y Montalvo), y será de este de donde el palacio tome el nombre que ahora lleva.

Posteriormente el palacio fué adquirido por la familia Oller, susituyendo el escudo de la puerta por el propio de su familia, que a la postre es el que ahora vemos en el dintel de la portada.

Fué sede de la Real Sociedad Economica de Amigos del Pais y en la actualidad desde 1992 es sede de una empresa de ingenieria (Diez Cisneros) que ha conservado el palacio tal y como fué encontrado, es decir con una fuerte reestructuración interior que llevó a cabo un famoso pintor (Manuel Valdés) que distorsionó la decoración interior original del palacio. En la actualidad podemos ver en los techos de las escaleras pinturas al fresco, con temática de inspiracion clásica obra del pintor Julio Marcos Caparrós.