Замок до сих пор представляет собой действующий военный объект, пожалуй, старейший в мире. Во внутреннем дворе находится штаб-квартира морского командования Атлантического побережья Франции и морская префектура.
Брестский замок был основан на остатках галло-римского укрепления в III веке. Окончательно же комплекс был завершен в XVII веке военным инженером маркизом де Вобаном. Замок выполнял функции королевской резиденции, тюрьмы и крепости. В августе и сентябре 1944 года во время осады Бреста крепость сильно пострадала, но впоследствии была восстановлена.
Осмотр замка удобно начать с башни Магдалена и продолжить вдоль южной куртины, в основании которой сохранилась каменно-кирпичная кладка галло-римской стены III века. Толщина стен здесь достигает 12 метров. C верхней площадки открывается великолепный вид на Брестскую гавань.
После недавней реставрации в Райской башне открылось пять новых залов, в которых представлена история Бреста. На территории замка находится также Национальный морской музей.
Хороший вид на окрестности открывается и с вершины башни Азенор, названной так по имени принцессы, несправедливо обвиненной в прелюбодеянии в 537 году. Известно, что несчастную сначала заточили в башне, а затем в бочке бросили в море. По прошествии пяти месяцев бочка пристала к берегам Ирландии. Чудом спасшаяся женщина произвела на свет сына – будущего бретонского святого Будока.