L’origine del nome della Madonna della Grotta o delle Carcera è legata agli eremiti, che furono chiamati “inclusi” o “carcerati” per il loro ritiro in questo luogo.
La chiesa, costruita nel corso del tempo dagli abitanti, sorge ai piedi di uno scoglio, con una parte dell’edificio incastonata nella roccia. Quando il vescovo visitò il luogo nel 1585, lo descrisse come “oratorium sive cappellam”, cioè una cappella di piccole dimensioni. Nel corso dei secoli, diversi prelati lamentarono le condizioni dell’edificio, tra cui l’ingresso soggetto alle intemperie e il Crocifisso riposto in un armadio. La pianta circolare dell’edificio e il richiamo agli stilemi di Macereto ne fanno un esempio significativo dell’arte locale.
La leggenda narra che un viandante, venditore ambulante di immagini sacre, giunto a Pioraco senza riuscire a concludere alcuna vendita, decise di proseguire verso Fiuminata. Lungo il cammino si accorse che la statuina della Madonna era sparita dal suo sacco. Tornato indietro, la ritrovò misteriosamente collocata nella Chiesa della Carcera. Dopo vari tentativi falliti di riprendersela, comprese che si trattava di un segno della volontà divina, e lasciò la statua in quel luogo, dove fu venerata. In una variante del racconto, si dice che il madonnaro passò la notte nella chiesa e al risveglio trovò la statua collocata sopra l’arco trionfale che conduce all’abside, a suggellare la sua dimora definitiva.

Un’antica usanza popolare vuole che i fedeli, quando costretti a lasciare Pioraco per lunghi periodi, a causa di guerre o altre difficoltà, portassero con sé piccoli sassolini raccolti dal santuario, come gesto apotropaico e auspicio di ritorno.