这座堡垒融合了最古老的圆形塔楼，该塔楼由教皇马尔蒂诺五世·科隆纳于1423-24年建造，后来成为罗马的朱利奥二世城堡。
城堡内设有教皇海关，负责管理通过海路抵达罗马的货物关税。朱利奥二世（1503-1513年）登基后，命令进行重要改造：他在庭院的西侧修建了一处真正的教皇套房，改建了波尔吉亚时代的一些房间。建筑的三层通过一座宏伟的楼梯相连，根据最新研究，该楼梯的壁画由巴尔达萨雷·佩鲁齐与包括伦巴第人切萨雷·达塞斯托在内的一些助手共同绘制。
1556年，在法国和西班牙冲突结束时，奥斯蒂亚堡遭受了西班牙人的著名围攻，导致建筑受损严重。次年1557年，由于一次剧烈的洪水，台伯河改变了流向，河道远离此地，沿着现存的新路线流淌。这导致教皇海关先后迁至托尔·博亚奇亚纳和托尔·圣米凯莱。
18世纪时，该城堡被用作谷仓，到了下一个世纪则成为使用苦役犯人作为古奥斯蒂亚考古劳动力的监狱。经过20世纪多次修复，2003年在教皇公寓和主塔的部分厅室内设立了新的博物馆展览，展示了上世纪在城堡及其周边村落考古发掘中出土的晚中世纪和文艺复兴时期陶瓷收藏中的重要部分。
