Белое здание крепости Альте-Фесте (в переводе с немецкого – старый форт) было воздвигнуто в 1890 году и является старейшим в Виндхуке. Прямоугольный форт с четырьмя башнями стоит на холме, откуда открывается симпатичные виды на Виндхук.Когда-то крепость выполняла роль главштаба германских колониальных войск в Намибии, потом перешла к южноафриканским военным, а в 30-е годы превратилась в школьное общежитие. Функции исторического музея форт начал выполнять в 1962 году. Среди экспонатов в Альте-Фесте в основном предметы немецкой колониальной эпохи: мебель, музыкальные инструменты, костюмы, лампы. А также множество фотографий на тему борьбы за независимость.