Debido a los hallazgos de restos de herramientas paleolíticas como flechas, hachas y puntas de silex, en cuevas del lugar podemos hablar de un primer poblamiento prehistórico. Aunque, en el siglo XVI se encontraron restos arqueológicos como monedas, columnas y una lápida con la inscripción latina "Multio Portio", que dan constancia del posible origen romano de Fuentidueña.

Este castillo, garantizaba el desarrollo económico de la población y fue punto defensivo sobre el Tajo durante la Reconquista.
Con la reconquista de Alfonso VI en 1085, la Plaza de Alharilla pasa a depender de la Orden de Santiago y es Alfonso VIII quien consolida la dominación cristiana en 1212 tras su triunfo en la Batalla de las Navas. Será en 1172 cuando dará a los Freires de Alharilla las prerrogativas del control del Portazgo.

La "Chronica de las Tres Ordenes..." de Rades, refleja la valentía los frailes - guerreros en 1176...

" este mismo año los moros (...) entraron por tierras de Uclés, (...) y la rovaron y talaron; aunque no puedieron ganar el castillo de Uclés ni el de Alharilla, que los Caballeros de la Orden les resitieron varonilmente..."

Esta "Chronica" también da fe de la difícil situación que el pueblo cristianó vivió en 1195...

"Sabiendo Lucep rey moro de los almohades que el rey de Castilla estava ocupado en la guerra contra el de León y tenía en su servicio a la Órdenes Militares, entró grande exército (...) Desta entrada asolaron los moros el castillo de Alharilla".

A partir de esta fecha, la fortaleza irá desapareciendo poco a poco hasta quedar solamente constancia de su presencia en documentos antiguos. Su nombre quedaría perpetuado en la advocación de la Virgen y en la ermita ubicada en el cerro que debió ocupar la antigua Alfariella.

Avanzaba el siglo XII cuando se reunieron en la capilla del castillo, el cura con su comunidad comunicándoles el avance de los almohades. Su intención era la de esconder la imagen de María para evitar profanaciones para lo que los vecinos de Alharilla en procesión se dispusieron a ocultarla en un hueco de la muralla.
Pasaron siglos y el castillo y la aldea desaparecieron y fue cuando los descendientes encontraron la talla en un espartizal dando origen a la leyenda de la Virgen.