Обширная территория позволила построить величественное здание, не уступающее Дория-Памфили во Фассоло, а крутой склон участка стал поводом для архитекторов Доменики и Джованни Понцелло применить инновационное архитектурное решение, где последовательность пространств атриум-двор-лестница создает удивительную игру перспектив.
Приобретенный Джой Андреа Дория для сына Карло, герцога Турси, он был завершен в 1596 году Карлоне и Орсолино с добавлением двух боковых лоджий, гармонично интегрирующих здание с окружающими зелеными зонами.
Во владении семьи Дория до начала XIX века, дворец был дополнен фасадом дворца Торретте (1716) и, став резиденцией Савойи (1819), получил богатое внутреннее оформление из лепнины и фресок.
Снос церкви Св. Франческо позволил расширить дворец сзади, построив часовую башню и создав «романтический» сад, который зрительно восстанавливает архитектурные и декоративные элементы церкви.
Переоборудованный в колледж (1838) и с 1848 года занимавший здание Муниципалитета, после северного расширения коммунальных офисов по проекту Альбини-Хельга (1952-59) дворец теперь входит в обширную «Систему музеев Страда Нуова».

