A kegyképet a tisztelet jeleként 1749-ben, majd 1983-ban ismét megkoronázták.

A magyar alapítású pálosrend hajdani templomát és kolostorát 1352-ben Nagy Lajos király építtette, aki is gyakran menekült ide, hogy erőt merítsen birodalma ügyeinek intézéséhez. Leánya Hedvig, a későbbi lengyel királyné, Jagelló László litván fejedelem felesége, itt nevelkedett. De járt ide és a környező királyi vadaskertbe maga Mátyás király is.

Márianosztráról indult útjára s vitt magával egy Mária képet 1382-ben az a tizenhat magyar pálos szerzetes, akik megalapították a lengyel czestochowá-i Jasna Gora kolostort, amely nemsokára látogatott búcsújáróhellyé vált. A török idők után a kolostor és templom megsemmisült, 1711-ben azonban lengyel pálos szerzetesek érkeztek, hogy a kolostort és templomot helyreállítsák, magukkal hozva a czestochowai kegykép párját, amely - mint maga is csodatévő kép - hamarosan az ország minden tájáról magához szólította a híveket. A kegyképet a tisztelet jeleként 1749-ben majd 1983-ban ismét megkoronázták.

A szerzetesrendet azonban II. József feloszlatta. A kolostor épülete később, 1858-tól fegyintézetként szolgált. A Paulai Szent Vincéről elnevezett irgalmas rend 21 nővére irányította a kizárólag nők befogadására kialakított börtön életét. Az intézetet a következő évtizedekben bővítették, megépült a magánzárkatömb, a rabkórház és rabtemplom, valamint a zárt sétaudvar is. A múlt század elején már 500 elítélt és 42 nővér, valamint 21 fegyveres őr élte itt életét. 

Az első világháború után kommunista politikai foglyok is kerültek ide, a második világháború után pedig a kommunizmus politikai foglyai… de már nem egyházi, hanem az ÁVH felügyeletével. A női elítélteket Kalocsára szállították, s helyükre politikai foglyok kerültek. Számuk a börtön befogadó képességégének dupláját is meghaladta.

Az 56-os forradalom után itt raboskodott az író Göncz Árpád, Déry Tibor, Háy Gyula, a politikus Bibó István, a színész Mensáros László. De ide került végül az ÁVH egykori vezetője, Péter Gábor is.