Наложение преримских, римских и византийских укреплений, а также строительство в IX–X веках епископского дворца обозначили эту территорию как центр военной и религиозной власти. Современное здание Санта-Мария-ди-Кастелло — это романская базилика с тремя нефами, трансептом и тремя апсидами, возведённая в первой четверти XII века мастерами антэламической школы.
Первоначальный облик церкви частично изменился в ходе перестроек XV и XVI веков. Со второй половины XVII века, в связи с серьёзным снижением численности и экономического положения доминиканцев, происходили отчуждения и трансформации, зачастую вызванные необходимостью сдачи помещений монастыря в аренду, при этом в церкви продолжали заниматься украшением некоторых капелл. В первой половине XIX века монастырь находился в запущенном состоянии, что усугубилось в 1859 году с оккупацией сардино-пьемонтскими войсками и изгнанием монахов вследствие применения закона Cavour-Rattazzi, который в 1855 году ликвидировал религиозные корпорации: монастырь частично отошёл государству и был включён в программу строительной спекуляции, осуществлённой в 1870 году с надстройкой первого и третьего клуатров, преобразованных в жилые дома.
Идея создания музея в Санта-Мария-ди-Кастелло возникла из необходимости показать многочисленные произведения искусства, которые в результате трансформаций церкви и монастыря остались без чёткой экспозиции или были недоступны публике. Первый музей был создан Джанвитторио Кастельнови в 1959 году.
В январе 2001 года были открыты 12 новых залов общей площадью 400 кв.м., где собраны интерьеры и разные коллекции, происходящие не только из Санта-Мария-ди-Кастелло, но и из других доминиканских монастырей и обителей.
