Здание нынешней библиотеки Иркутского государственного университета сыграло важную роль в истории города. С самого начала оно считалось визитной карточной города, ей остается и по сей день.
Его строил для себя видный иркутский купец Михаил Сибиряков. Проект принадлежал архитектору Кваренги, тому самому, который проектировал Смольный в Санкт-Петербурге. В начале XIX века, дом Сибирякова в этих краях называли не иначе как «Сибирским дворцом». В старом деревянном Иркутске это было самое красивое здание. Это и послужило причиной, что в 1838 году Сибиряковы вынуждены были продать свой «дворец» государству. Оно было отдано под резиденцию генерал-губернаторов Восточной Сибири. С тех пор в доме побывали самые известные люди и гости Иркутска - цесаревич Николай Александрович (Николай II) в 1891 году, другой представитель романской династии – Константин Романов в 1909 году.
Название «Белый дом» полностью соответствует облику здания. Каменный особняк изначально был желтого цвета, но в 1906 году после реконструкции его побелили.