Las obras de este palacete fueron iniciadas hacia 1789 por el arquitecto Juan de Villanueva (Madrid 1739-Madrid 1811) en estilo neoclásico y en origen estaba completamente rodeado por las aguas del Tajo. Su acceso se realizaba a través de un puente. Juan de Villanueva delegó hacia 1798 los trabajos en su ayudante Isidro González Velázquez (Madrid 1765-Madrid 1829) que finalizó las obras en 1803 según se puede leer en una inscripción pétrea en la fachada del palacio. Entre 1964 y 1968 el palacio fue rehabilitado en su totalidad por el arquitecto Ramón Andrada Pfeiffer. A Juan de Villanueva se le atribuye el cuerpo principal del edificio, mientras que a su sucesor Isidro González Velázquez se le atribuyen las dos alas laterales y la decoración exterior. A Jean-Démosthène Dugourc (Versalles 1749-París 1825) se le atribuye principalmente la decoración interior.

En principio el palacete estaba rodeado por el río Tajo ya que este se situaba en un meandro del río, para acceder a él había que hacerlo en barca o a través de uno de los tres puentes que cruzaba el Tajo. Con posterioridad el curso del Tajo sería desviado, ya que la humedad era una constante en el palacio y periódicamente inundaba la planta baja del palacio.

El edificio se configura en una construcción en forma de U cerrada por una reja. La construcción se levanta sobre tres pisos de distintas alturas y cubierta exterior de pizarra a doble vertiente. La decoración exterior del piso bajo se resuelve a base de bandas horizontales de almohadillados con ventanas adinteladas, mientras que los pisos altos se resuelven con decoración de talla escultórica y muros de fachada de ladrillo cara vista de color rojizo y balcones. Las alas laterales disponen de un pórtico o porche realizados en granito con cinco arcos de medio punto que conforman unas grandes terrazas abiertas sobre el patio interior. El palacio está construido principalmente en ladrillo mientras que el zócalo sobre el que se levanta es de piedra de granito. La decoración escultórica y ornamental es de escayola y fue introducida por Isidro González Velázquez.

La decoración exterior se encuentra rodeando todo el perímetro del primer piso y básicamente se compone de hornacinas en cuyo interior se alojan esculturas de inspiración clásica realizadas en escayola. En el tercer piso la decoración está formada por relieves con motivos de guirnaldas de flores y amorcillos. Sobre las terrazas que sustentan los arcos del pórtico, así como en la parte superior de la verja que cierra el palacio, encontramos veinte bustos de mármol de Carrara de personajes de la antigüedad clásica, principalmente emperadores romanos.

En el centro de la fachada principal, encontramos en el ático el Escudo Real de Carlos IV sostenido por dos ángeles niños, es obra moderna de Fernando Cruz Solís (Sevilla 1923-Manzanares el Real 2003). Bajo él, una inscripción lapidaria sostenida por dos angelitos que tocan la trompeta dice: Reinando Carlos IV. Año de MDCCCIII.

Bajo esta inscripción encontramos en el interior de una hornacina un grupo escultórico representando a Selene y al pastor Endimión, obra realizada por el aragonés Joaquín Arali Solanas (Zaragoza 1737-Madrid 1811).

Por debajo de este conjunto encontramos una fuente con mascarón y una grotesca imagen de una mujer vieja realizada en mármol que representa a La Envidia. La figura se adorna con serpientes, la que tiene sobre el pecho y que se lo muerde tiene la significación de las malas obras, mientras que la que lleva en la cabeza simboliza los malos pensamientos. La fuente perteneció a la reina Cristina de Suecia (Estocolmo 08-12-1626 - Roma 19-04-1689) y simula encontrarse en una especie de gruta. Por encima de la fuente una mascara masculina de potente factura.

La decoración interior es obra del decorador francés Jean-Démosthène Dugourc y está realizada a base de maderas nobles, oro, bronce, platino, escayolas, mármoles, seda etc. Esta decoración iniciada en la época de Carlos IV fue finalizada ya después de la Guerra de la Independencia por el hijo de este, Fernando VII. Las sedas son de una gran calidad, algunas de ellas confeccionadas por la familia de sederos valencianos Bodoy aunque las más preciadas son las realizadas en Lyon.

En el interior de la Casa del Labrador encontramos diversas salas y estancias:

Al interior del edificio se entra por un vestíbulo donde se encuentra la escalera principal realizada hacia 1799, que se eleva en espiral y que conduce el piso superior donde se encuentran las principales salas, hasta un total de dieciocho. La escalera con peldaños de madera de caoba dispone de una barandilla en bronce bañada en oro. La lámpara que cuelga del techo es original del siglo XVIII y está realizada en bronce dorado y cristal y procede de la fábrica de La Granja de Segovia. Aún encontramos una segunda escalera conocida como escalera chica que en realidad es la escalera de servicio y originalmente la primitiva de la casa. Destaca por que en sus paredes podemos encontrar unas curiosas pinturas de trampantojos decoradas al temple por Zacarias González Velázquez.

Galería de las estatuas espacio abovedado con pinturas al fresco realizadas hacia 1806 por Zacarías González Velázquez (hermano del arquitecto Isidro González). Representan al día y a la noche, al lucero del alba, la Vía Láctea y en los testeros a Flora y Baco. Además alegorías de la Agricultura, las Artes y la Industria. El suelo de mármol integra seis fragmentos de mosaicos romanos, encontrados en las excavaciones romanas de Mérida. Destaca en ellos la presencia del pez como símbolo usado por los primeros cristianos lo que nos permite datar su fábrica a partir del siglo IV. La decoración de sus muros realizadas por Dugourc se articula en estilo neoclásico con paredes de escayola imitando el mármol a la perfección y con columnas de orden corintio. En ella encontramos un conjunto de bustos en mármol regaladas al rey Carlos IV en 1804 por el político y embajador español en Roma, José Nicolás de Azara; representan principalmente a diversos sabios y filósofos griegos, ya que son copias romanas de originales griegos, traídas desde Roma por el embajador español. Las esculturas del interior de las hornacinas son de escayola y representan a personajes de la antigüedad clásica.

En el centro de la sala encontramos un reloj formado por cuatro cuerpos que toma la forma de la Columna de Trajano. Es obra del relojero J.S. Bourdier realizado en Paris en estilo imperio en 1804 y comprado a la viuda de Godon por Carlos IV. Alrededor de la columna un carril con una estrella sube en espiral y al llegar a la parte alta marca las doce, para a continuación bajar y repetir el ciclo de subida en doce horas y así sucesivamente. En la base se encuentra una caja de música con órgano entre ocho cariátides que se apoyan en un zócalo de mármol. En el reloj encontramos representados a Baco, Apolo, Júpiter, Mercurio, Leda y otras figuras mitológicas.

Sala de billar o Salón del Rey El techo se encuentra pintado al fresco por Mariano Salvador Maella (Valencia 1739-Madrid 1819) hacia 1806 y representa a los cuatro elementos: el agua, la tierra, el aire y el fuego. El suelo de porcelana es original de la época. La mesa de billar es de época fernandina, aquí tal vez haya necesidad de recordar que el rey Fernando VII era un gran aficionado a este juego. La famosa frase que se cita "Así se las ponían a Fernando VII" no hace como algunos puedan pensar a las mujeres, sino a las bolas del billar. Chimenea de mármol blanco con adornos de cristal pintado en dorado. El gran reloj es trabajo del sevillano Manuel de Rivas realizado en 1804, está construido con madera de caoba, bronces, talla dorada y cristales grabados.

Comedor de la Reina María Luisa Sus paredes se encuentran tapizadas de seda de oro y plata y en ellas encontramos hasta 93 pequeños paisajes tejidos a mano. Son sedas de Lyon y contiene noventa y tres vistas de Aranjuez y el Escorial entre otros lugares. El techo es pintura al fresco de Mariano Salvador Maella y Zacarias González, realizado hacia 1798. Representa diversos motivos alegóricos de La Paz, la Agricultura y las estaciones del año y sus beneficios sobre los trabajos humanos en el campo. Destaca el fresco de la diosa Cibeles ofreciendo a la tierra sus productos.

Sobre la chimenea de mármol de Carrara, un reloj de bronce dorado con una representación de la diosa Ceres, obra del relojero francés de Carlos IV, François Lonis Godon. El suelo está formada por baldosas de porcelana de la fábrica del Buen Retiro. Del techo cuelga una lámpara del siglo XVIII de cristal y bronce dorado en oro.

Sala de bordado o Saleta de la Reina María Luisa Las paredes de la sala se cubren con sedas en tonos cremas, con decoración de grecas, camafeos ovalados, pájaros y guirnaldas. Este trabajo realizado hacia 1803 es obra de Juan López de Robredo, bordador de cámara del rey Carlos IV. El techo se encuentra pintado por Manuel Muñoz de Ugena (1747-1807) y Juan Duque, en estilo pompeyano teniendo como tema central a Orfeo y Euridice.

Sala de baile es la sala más grande del palacio. En esta encontramos una mesa de malaquita que fue un regalo del zar Alejandro II a la reina Isabel II con motivo de su matrimonio en 1846 con Francisco de Asís. El techo se encuentra pintado al temple con frescos salidos de la mano de Francisco Bayeu y Mariano Salvador Maella en 1798. Representa a los diversos continentes y el poder de la monarquía española sobre ellos y las alegorías de las Ciencias, las Artes, el comercio y la Industria junto al escudo real de España. Sus paredes están decoradas con sedas de Lyon de tonalidades amarillas con motivos de estilo pompeyano y de sus techos cuelgan lámparas de araña de cristal y bronce dorado. Sobre los muebles ánforas de Sèvres y relojes de la colección de Carlos IV. Sobre la chimenea encontramos un reloj en bronce dorado dedicado a Diana Cazadora con música de órgano y timbales obra del relojero Juan Bautista Ferroni. El suelo es de madera de roble muy bien trabajado, aunque puede ser que sea de fecha posterior.

Gabinete de platino Esta sala está ricamente decorada con maderas de caoba y con tiras de bronce dorado y aplicaciones de platino, de donde toma el nombre la sala. En ella encontramos una caja de música con seis melodías diferentes. La decoración realizada en 1808 es obra de los decoradores franceses Charles Percier y Fontaine. Los cuatro lienzos que encontramos en la sala representan a las cuatro estaciones del año y son obra del francés Anne Louis Girodet. También de este autor son las diversas pinturas con representaciones alegóricas del Amor, la Ciencia, y la Música. El suelo es de mármol con dibujos que representan herramientas de trabajo agrícola (aperos de labranza) y trabajo pastoril. La lámpara es de bronce dorado regalo del papa Gregorio XVI al rey Fernando VII. Habitualmente era utilizado como tocador de la Reina.

Sala de tocador o del retrete Bóveda pintada al temple hacia 1800 por Zacarias González Velázquez con escenas alegóricas representando a la Fuerza, la Vigilancia, el Aire, el Descanso y El carro del tiempo. Las paredes se encuentran decoradas en estilo pompeyano con gran lujo. El retrete se sitúa en un nicho en la pared, donde queda situado un sillón tallado en madera y tapizado en rojo. El suelo, de mármol, tiene un mosaico romano original empotrado en el mismo.

Salón de Corina La bóveda fue pintada por Japelli en estilo pompeyano y sus paredes se encuentran tapizadas con telas. Recibe esta sala su nombre por el reloj fabricado en Francia en bronce negro que sostiene la figura de la poetisa griega Corina. El suelo es de mármol con formas geométricas.

Salón de la Yeguada Recibe este nombre por los grandes lienzos que decoran la habitación, así vemos un lienzo de la real Yeguada, la cacería de jabalíes en presencia de Carlos IV, la siega del trigo y por último la casa de las vacas, todas ellas salidas de la mano de Zacarías González Velázquez. El techo se decora con un tema mitológico, la Luna y el pastor Endimión. El suelo es de madera de roble.

En la segunda planta se encuentran diversas salas, algunas de ellas haciendo funciones de pequeños dormitorios o salas de descanso, aunque como ya hemos avanzado no era este su fin último. La decoración de estas salas es la original del periodo de Carlos IV y Fernando VII y no son visitables.