Самое большое гражданское здание на территории кремля (его площадь составляет 2530 квадратных метров) и одно из лучших архитектурных творений XVII века. Первые два этажа здания построены по проекту архитектора Ершова, а последний этаж достраивался Г.Л. Мазухиным. Дворец Олега знаменит своими красными наличники, теремными окнами и барочным фронтоном.
Когда-то здесь находились палаты местных архиереев, церковь и служебные помещения, а сейчас размещаются экспозиции и музейный склад.