El fortín incorporó la torre circular más antigua, edificada en 1423-24 por el papa Martín V Colonna, que se convirtió en el Castillo de Julio II de Roma.
En la fortaleza se encontraba la aduana pontificia, que regulaba el pago de impuestos por las mercancías que llegaban a Roma por mar. Ascendido al solio pontificio, Julio II (1503-1513) ordenó importantes transformaciones: se construyó en el lado occidental del patio, reformando algunos ambientes de época borgiana, un verdadero apartamento papal. Los tres pisos del edificio fueron conectados por una escalera monumental, pintada al fresco, según estudios recientes, por Baldassare Peruzzi con algunos colaboradores entre ellos el lombardo Cesare da Sesto.
Al final del conflicto entre Francia y España, la fortaleza de Ostia en 1556 sufrió un famoso asedio por parte de los españoles, que causó considerables daños a la estructura. Al año siguiente, en 1557, tras una inundación espectacular, el Tíber cambió su curso alejándose para seguir un nuevo trazado, aún conservado hoy. Esto provocó el traslado de la aduana pontificia primero a Tor Boacciana y luego a Tor S. Michele.
En el siglo XVIII el castillo se usó como granero y luego en el siglo siguiente se convirtió en una prisión para los forzados utilizados como mano de obra en las excavaciones de la antigua Ostia. Tras varias restauraciones realizadas durante el siglo XX, en 2003 se realizó una nueva musealización en algunas salas de los apartamentos papales y del mastio, exponiendo la parte más significativa de la colección de cerámicas tardomedievales y renacentistas, provenientes de excavaciones realizadas el siglo pasado dentro del castillo y el borgo.
