El complejo palaciego tiene su origen en el castillo-fortalez que mandó construir don Juan Fernández Pacheco (Marqués de Villena ), y de quien toma el palacio su denominación. Tras varias vicisitudes y avatares, los Reyes Católicos lo entregaron como dote al Duque de Frías con motivo del casamiento de éste con la hija de Fernando el Católico, doña Juana de Aragón. En sus dependencias se alojó Isabel la Católica, tras la Jura de Toros de Guisando, mediante la cual se puso fin a la Guerra Civil con su hermano Enrique IV.

Inicialmente fue construido en estilo románico, mediante grandes sillares, con planta rectangular y dos fachadas. Una de ellas mira al norte y presenta almenas, mientras que la otra, meridional, presenta arquería de medio punto. Posteriores reformas le acercan al estilo renacentista, con columnas jónicas y una preciosa galería con mirador. En el siglo XVI se construyó el jardín y un gran estanque de piedra.

Los jardines han sido convertidos en parque Municipal.   

La Iglesia Parroquial de Nuestra Señora de la Asunción, de estilo gótico-renacentista y catalogada como Bien de Interés Cultural, se comenzó a construir en el año 1498, durante el reinado de Isabel la Católica. La Parroquia está edificada en parte con piedra de la vieja muralla árabe, a consecuencia de la política de desmantelamiento de fortalezas de los Reyes Católicos.


Es un templo de grandes dimensiones (1.000 m2), con 4 capillas laterales, sacristía y pila bautismal. Custodia en la capilla lateral, la imagen del Santísimo Cristo del Humilladero, patrón del Pueblo.