Крепость включала в себя древнейшую круглую башню, построенную в 1423-24 гг. папой Мартино V Колонна, которая стала Замком Джулио II в Риме.
В крепости располагалась папская таможня, которая регулировала сбор налогов с товаров, прибывающих в Рим морем. Взошедший на папский престол Джулио II (1503-1513) распорядился провести значительные преобразования: на западной стороне двора было построено, с перестройкой некоторых помещений борджийской эпохи, настоящее папское апартаменты. Три этажа здания были связаны монументальной лестницей, украшенной фресками, которые, согласно последним исследованиям, создал Бальдазаре Перуцци с несколькими помощниками, включая ломбардца Чезаре да Сесто.
В конце конфликта между Францией и Испанией в 1556 году крепость Остии подверглась знаменитой осаде со стороны испанцев, которая нанесла немалый ущерб сооружению. Год спустя, в 1557, после сильнейшего наводнения, река Тибр изменила своё русло, отдалившись и протекая по новому пути, который сохраняется и по сей день. Это вызвало перенос папской таможни сначала в Тор Боаччиана, а затем в Тор Сан-Микеле.
В XVIII веке замок использовался как сеновал, а в следующем веке стал тюрьмой для каторжников, привлечённых к работам по раскопкам древней Остии. После различных реставраций XX века, в 2003 году была создана новая музейная экспозиция в некоторых залах папских апартаментов и донжона, где выставлена наиболее значимая часть коллекции позднесредневековой и ренессансной керамики, найденной при раскопках в прошлом веке внутри замка и поселения.
