De gelaagde aanwezigheid van pre-Romeinse, Romeinse en Byzantijnse fortificaties, tot de bouw van het bisschoppelijk paleis tussen de 9e en 10e eeuw, gaf dit gebied de status van militaire en religieuze machtszetel. Het huidige gebouw van Santa Maria di Castello is de romaanse basiliek met drie beuken, een transept en drie absis, gebouwd in het eerste kwart van de 12e eeuw door Antelamische vaklieden.
Het oorspronkelijke uiterlijk van de kerk werd deels veranderd door de verbouwingen in de 15e en 16e eeuw. Vanaf de tweede helft van de 17e eeuw, gelijktijdig met een ernstige numerieke en economische verzwakking van de Dominicanen, wisselden vervreemdingen en transformaties elkaar af, vaak veroorzaakt door de noodzaak delen van het klooster te verhuren, terwijl in de kerk de decoratie van enkele kapellen werd voortgezet. In de eerste helft van de 19e eeuw verkeerde het klooster in een staat van achteruitgang, die in 1859 verergerde door de bezetting door het Sardijns-Piëmontese leger en de uitzetting van de monniken ten gevolge van de toepassing van de Cavour-Rattazzi wet die in 1855 de religieuze corporaties had afgeschaft: gedeeltelijk in beslag genomen door de staat, werd het klooster opgenomen in een bouwspeculatieprogramma dat werd uitgevoerd in 1870 met de opbouw van de eerste en derde kloostergang, omgevormd tot appartementengebouwen.
Het idee om een museum te bouwen in Santa Maria di Castello ontstond uit de behoefte om vele werken tentoon te stellen die door de transformaties van de kerk en het klooster geen duidelijke plaats meer hadden of niet zichtbaar waren voor het publiek. Een eerste museum werd opgericht door Gianvittorio Castelnovi in 1959.
In januari 2001 werden 12 nieuwe zalen geopend die in 400 m² het meubilair en de diverse collecties herbergen die niet alleen uit Santa Maria di Castello komen, maar ook uit andere dominicaanse kloosters en abdijen.
