A fortaleza incorporou a torre circular mais antiga, construída em 1423-24 pelo papa Martinho V Colonna, que se tornou o Castelo de Júlio II em Roma.
Na rocha estava sediada a alfândega pontifícia, que regulava o pagamento dos impostos para as mercadorias que chegavam a Roma por via marítima. Ascendendo ao trono pontifício, Júlio II (1503-1513) ordenou importantes transformações: foi construído no lado ocidental do pátio, reformando alguns ambientes da época borgiana, um verdadeiro apartamento papal. Os três andares do edifício foram conectados por uma escadaria monumental, afrescada, segundo estudos recentes, por Baldassare Peruzzi com alguns colaboradores, entre eles o lombardo Cesare da Sesto.
No final do conflito entre França e Espanha, a fortaleza de Óstia em 1556 sofreu um famoso cerco por parte dos espanhóis, que causou vários danos à estrutura. No ano seguinte, em 1557, após uma cheia histórica, o Tibre mudou seu curso, afastando-se para seguir um novo trajeto, o qual permanece até hoje. Isso causou a transferência da alfândega pontifícia primeiro para Tor Boacciana e depois para Tor S.Michele.
No século XVIII o castelo foi usado como celeiro e no século seguinte tornou-se uma prisão para os forçados utilizados como mão de obra nas escavações da antiga Óstia. Após várias restaurações realizadas ao longo do século XX, em 2003 foi realizada uma nova montagem museal em algumas salas dos apartamentos papais e do mastio, expondo a parte mais significativa da coleção de cerâmicas tardomedievais e renascentistas, provenientes de escavações realizadas no século passado dentro do castelo e da aldeia.
