La Virgen de la Sierra se apareció a un pastor en forma de paloma posándose sobre una encina ; el pastor le tira una piedra y, al impacto, la paloma levanta vuelo transformándose en la imagen de la Virgen María, quien le manifiesta el deseo de tener en este lugar una ermita. El pastor va a Fuente el Fresno, y el cura al oírle se burla y no le hace caso. Algún tiempo después, se repite la aparición en el mismo sitio y con el mismo mensaje, entonces el pastor acude a Villarrubia, encontrando aquí la aceptación del párroco y del regidor de la villa, por lo que se construyó la ermita, situando el trono de la Virgen sobre el tronco de la encina en el camarín que hoy tiene.