Кастель-дель-Монте расположен в окрестностях Андрии, в Апулии. На каждом из восьми углов расположены восемь башен одинаковой формы в каменных стенах из местного известняка, отмеченных горизонтальной профилировкой; в нижнем этаже открываются восемь монфоров, на верхнем — семь бифор и одна трифора, обращённая в сторону Андрии.
Восьмиугольный внутренний двор Кастель-дель-Монте, как и всё здание, отличается цветовым контрастом, обусловленным использованием кораллового брекчии, известняка и мрамора; когда-то здесь также были древние скульптуры, от которых остались лишь плита с изображением кортежа рыцарей и фрагмент антропоморфной фигуры.
На верхнем этаже открываются три дверных окна, под которыми имеются выступающие элементы и отверстия, возможно, предназначенные для поддержки деревянного балкона, позволяющего изолировать друг от друга комнаты, которые связаны между собой кольцевым проходом, за исключением первой и восьмой комнат, разделённых стеной с большим окулусом вверху, вероятно, использовавшимся для связи.
Шестнадцать комнат, по восемь на каждом этаже, имеют трапециевидную форму и покрыты оригинальным способом. Пространство разделено на центральный квадратный пролёт с ребристым крестовым сводом (с полуколоннами из кораллового брекчии на нижнем этаже и трёхлепестковыми мраморными столбами — на верхнем), в то время как оставшиеся треугольные части закрыты стрельчатыми цилиндрическими сводами.
Ключи сводов крестовых сводов различны, украшены антропоморфными, зооморфными и фитоморфными элементами.
Связь между двумя этажами осуществляется по трём винтовым лестницам в соответствующих башнях.
Некоторые из этих башен содержат цистерны для сбора дождевой воды, часть которой отводится в цистерну, выдолбленную в скале под центральным двором.

В других башнях расположены ванные комнаты с туалетом и умывальником, рядом с которыми находится небольшое помещение, вероятно используемое как раздевалка или возможно для установки бассейнов для омовений, поскольку забота о теле была важна для Фридриха II и его двора, согласно обычаям того арабского мира, так любимого монархом.
Большой интерес вызывает скульптурное оформление, которое, несмотря на сильные утраты, даёт значимую информацию об изначальном декоративном убранстве, когда использовался широкий спектр цветных материалов,
среди которых мозаичные элементы, майоликовая плитка, стеклянные пасты и настенные росписи, следы которых, по описаниям некоторых писателей и историков XVIII-XIX вв., были видны до начала реставраций.
В настоящее время сохранились две антропоморфные консоли в башне сокольника, теламоны, поддерживающие зонтичный свод одной из лестничных башен, и фрагмент напольной мозаики в VIII зале на первом этаже. В Пинакотеке провинции Бари временно хранятся два важных скульптурных фрагмента — голова и безголовый бюст, обнаруженные во время длительных реставрационных работ, которые не выявили никакого следа восьмиугольной ванны в центре двора, упомянутой некоторыми исследователями прошлого века.

