Reza a História que, quando Herodes perseguiu São José, Nossa Senhora e o Menino Jesus, eles fugiram para o Egipto.
No seu percurso, passaram pela Serra da Avoaça e N. Senhora quis descansar porque estava muito cansada.
Todos tinham sede mas não se via nenhuma nascente por perto. S. José, vendo uma pedra ao pé deles, virou-se para o burro e ordenou:
- Dá um coice na pedra!
O burro obedeceu mas a pedra não tugiu!
S. José ordenou novamente:
- Dá um coice na pedra!
O burro obedeceu e desta vez a pedra gemeu!
S. José ordenou pela terceira vez:
- Dá um coice na pedra!
O burro obedeceu e a pedra chorou!
E desta forma puderam os três matar a sede.
A partir daí, a nascente passou a chamar-se Fonte da Pedra e possui propriedades terapêuticas;

nomeadamente, a água cura os cravos, isto é, as verrugas das mãos.
Ainda lá estão as três marcas na pedra:
A primeira está seca (não tugiu).
A segunda deita um fio de água (gemeu).
A terceira é a nascente (chorou).
Enquanto descansavam, Nossa Senhora resolveu estender a toalha sobre uma pedra para comerem algo, que a fome apertava.
Pois desde então nunca mais o musgo cresceu nessa pedra, como ainda hoje se pode comprovar!
Porém , chegou a hora de continuarem a viagem e arrumaram tudo.
Quando começaram a andar, Nossa Senhora prendeu o manto no mato que crescia na zona e rasgou-o.
Como castigo de tal atitude, decidiu que nunca o mato cresceria, seria sempre pequeno. E assim é, visto que ainda hoje se diz que o mato é como o da Fonte da Pedra, quando se pretende explicar que é de pequena estatura.
Tinha a Sagrada Família retomado a sua marcha, quando chegaram a um terreno onde várias pessoas semeavam a terra.

E pergunta S. José:
- Então que semeais aqui?
- Semeamos pão (leia-se centeio)!
- Pois voltai amanhã, que pão colhereis!!
E assim aconteceu: no dia seguinte, as pessoas voltaram e encontraram o terreno repleto de centeio maduro, pronto para a ceifa.
Mais à frente, Nossa Senhora e S. José encontraram outro grupo de pessoas que semeavam igualmente um terreno.
E, de igual forma, pergunta S. José:
-Então, que semeais vós aqui?
Sendo estas pessoas de má índole, responderam:
- Semeamos pedras!
- Pois voltai amanhã, que pedras colhereis!
E no dia seguinte, quando as pessoas tornaram ao terreno, encontraram-no cheio de pedregulhos.

Diz-se que foi na Pedriça de Unhais, onde ainda se podem ver as pedras.
Entretanto, o rei Herodes não se conformou com a fuga da Sagrada Família e mandou soldados no seu encalço.
Estes seguiram o mesmo percurso da Fonte da Pedra e chegaram ao local onde o primeiro grupo de homens ceifava o terreno de centeio.
Os soldados resolveram informar-se e perguntaram às pessoas:
- Viram passar um homem a conduzir um burro, onde ia uma mulher com um menino ao colo?
- Vimos, sim senhor! - responderam os ceifeiros.
- Passaram aqui quando estávamos a semear este terreno! Ao ouvir tal, exclamaram os soldados:
- Oh! Estavam a semear?!
Então já passaram há muito tempo!
Já não os vamos conseguir apanhar!
E voltaram para trás, desistindo da perseguição.