С 1918 года в краеведческий музей, открывшийся в помещениях Горицкого монастыря, свозили все: ценности из помещичьих домов, естественнонаучные экспонаты, церковную утварь и книги из близлежащих монастырей. Все это легло в основу разносторонней коллекции, за каждым предметом которой кроется целая история.
Особого внимания в музее заслуживает раздел икон, где собраны работы местных и столичных мастеров XVI–XVIII веков. Стоит зайти и в зал живописи - основу собрания составила коллекция купца Свешникова, который завещал свое детище городу.
В музее-заповеднике можно также посмотреть на церкви, часовни, соборы и палаты XVII-XIX веков, полюбоваться живописным прудом, разбитым еще в XVIII веке (причем не для красоты, а для того, чтобы было, откуда брать воду в случае пожара), и роскошным фруктовым садом Горицкого монастыря.