En el saber popular de Villarrubia aún se cuentan leyendas e historias sobre el pasado medieval de nuestro pueblo. Relatos sobre pasadizos secretos que comunicaban palacios con la iglesia o la existencia de un castillo como los de los cuentos de hadas. Pues bien, Villarrubia tuvo un castillo, no con altas almenas y fuertes murallas pero un castillo al fin y al cabo. Para hablar de este tema debemos retrotraernos al pasado, cambiar nuestra mentalidad de seres humanos del siglo XXI y situarnos en plena Edad Media.
La pequeña fortaleza se encontraba en la actual Glorieta del Pato, en la parte más próxima a la Avenida del Carmen. El Villarrubia medieval se desarrolló en torno al castillo, documentándose una necrópolis en la parte del parque más cercana a la actual Parroquia de la Asunción.
La judería se encontraría muy próxima, en la calle Macabil, nombre cuyo origen deriva de un vocablo proveniente del hebreo. En torno a este núcleo creció la Villarrubia que actualmente conocemos pero de la cual, sin embargo, queda muy poco. Lo que fue una pequeña fortaleza se convirtió con el tiempo en una casa palaciega destinada al encomendador y más tarde en palacio de los duques de Hijar, el cual pervivió hasta finales del siglo XIX cuando fue derribada.