Die Festung umfasste den ältesten runden Turm, der 1423-24 von Papst Martin V. Colonna erbaut wurde und zum Schloss von Julius II. in Rom wurde.
In der Burg befand sich der päpstliche Zoll, der die Zahlung der Zölle für Waren regelte, die über See nach Rom gelangten. Nach seiner Thronbesteigung ordnete Julius II. (1503-1513) bedeutende Umbauten an: Auf der Westseite des Hofes wurde, durch die Umgestaltung einiger Räume aus borgianischer Zeit, eine echte päpstliche Wohnung geschaffen. Die drei Stockwerke des Gebäudes wurden durch eine monumentale Treppe verbunden, die laut neuesten Studien von Baldassare Peruzzi mit einigen Mitarbeitern, darunter der Lombarde Cesare da Sesto, ausgemalt wurde.
Am Ende des Konflikts zwischen Frankreich und Spanien erlebte die Burg von Ostia 1556 eine berühmte Belagerung durch die Spanier, die der Struktur erheblichen Schaden zufügte. Im darauffolgenden Jahr 1557 verursachte eine gewaltige Überschwemmung, dass der Tiber seinen Lauf änderte und einen neuen Verlauf annahm, der bis heute erhalten ist. Dies führte dazu, dass der päpstliche Zoll zunächst nach Tor Boacciana und später nach Tor S. Michele verlegt wurde.
Im 18. Jahrhundert wurde das Schloss als Heuschober genutzt und im darauffolgenden Jahrhundert zum Gefängnis für Sträflinge, die als Arbeitskräfte beim Ausgraben des antiken Ostia eingesetzt wurden. Nach verschiedenen Restaurierungen im 20. Jahrhundert wurde 2003 in einigen Sälen der päpstlichen Apartments und des Bergfrieds eine neue museale Ausstellung eingerichtet, die den bedeutendsten Teil der Sammlung spätmittelalterlicher und renaissancezeitlicher Keramik zeigt, die in den letzten Jahrzehnten bei Ausgrabungen innerhalb des Schlosses und des Ortes gefunden wurde.
