Эти живописные руины некогда считались одной из крупнейших в Ярославской губернии дворянских усадеб. Был здесь и парк с вековыми дубами, и тенистые липовые аллеи, и сад скульптур на манер петербургского Летнего сада, и пышные дворцовые залы, и увитые плющом беседки.
Имение построил дворянин Петр Никитич Григорьев в XVIII веке для своей дочери Ольги и ее будущего мужа Николая Супонева. Столь масштабная для провинциального городка стройка не обошлась без слухов. В народе судачили, что Ольга — незаконнорожденная дочь Елизаветы Петровны и Алексея Разумовского, усыновленная Григорьевым. А средства на возведение усадьбы были выделены самой императрицей Екатериной II, решившей сослать подальше потенциальную наследницу.