Het fort omvatte de oudste ronde toren, gebouwd in 1423-24 door paus Martinus V Colonna, die het Kasteel van Julius II van Rome werd.
In de burcht was de pauselijke douane gevestigd, die de betaling van accijnzen regelde voor goederen die via zee in Rome aankwamen. Na zijn aantreden als paus gaf Julius II (1503-1513) belangrijke verbouwingen opdracht: aan de westelijke zijde van de binnenplaats werd een echte pauselijke woning gebouwd door enkele ruimtes uit de Borgia-periode te renoveren. De drie verdiepingen van het gebouw werden verbonden door een monumentale trap, die recent onderzoek toeschrijft aan Baldassare Peruzzi met enkele medewerkers, waaronder de Lombardische Cesare da Sesto.
Aan het einde van het conflict tussen Frankrijk en Spanje onderging de burcht van Ostia in 1556 een beroemde belegering door de Spanjaarden, die aanzienlijke schade aan de structuur veroorzaakte. Het jaar erop, in 1557, veranderde de Tiber als gevolg van een spectaculaire overstroming van koers en verwijderde zich om een nieuw tracé te volgen dat nog steeds bestaat. Dit veroorzaakte de verhuizing van de pauselijke douane eerst naar Tor Boacciana en vervolgens naar Tor S. Michele.
In de 18e eeuw werd het kasteel gebruikt als hooischuur en in de daaropvolgende eeuw werd het een gevangenis voor veroordeelden die als arbeidskrachten werden ingezet bij de opgravingen van het oude Ostia. Na diverse restauraties in de 20e eeuw werd in 2003 een nieuwe museale opstelling gerealiseerd in enkele zalen van de pauselijke appartementen en het donjon, met de belangrijkste collectie laatmiddeleeuwse en renaissance keramiek, afkomstig van opgravingen binnen het kasteel en het dorp uit de vorige eeuw.
