На одном из семи холмов Козенцы возвышается величественный Швабский замок. Он был построен императором Фридрихом II, которому очень нравилась Козенца. Также известна легенда, что в 1242 году именно в Швабский замок заточили сына Фридриха II – Генриха Хромого, за то, что он восстал против отца.
В 1433 году в замке была резиденция Людовика III Анжуйского. Позже здесь жил другой король, Альфонсо Арагонский. А в XVI столетии в Швабском замке была расположена тюрьма. В 1630 году из-за мощных землетрясений замок сильно пострадал, и многие его башни были разрушены. Сегодня здесь до сих пор идут реставрационные работы.