С 1780 по 1917 годы это красивое здание с портиком и колоннами в неоклассическом стиле служило резиденцией и канцелярией воронежских губернаторов. Для жилой части было возведено двухэтажное здание с губернаторскими покоями. В остальных местах были кабинеты и залы заседаний. Здесь принимались самые важные решения городской жизни на протяжении нескольких веков, включая торжественные мероприятия и встречи с гостями города.
С 1917 года по начало 1920-х годов в здании заседали различные большевистские организации, пока оно не стало Домом крестьянина. Также здесь была библиотека и музей изящных искусств Воронежа. Сегодня в Доме губернатора разместился областной Дом молодежи и фонды Краеведческого музея Воронежской области.