Тайный советник, генерал-лейтенант, участник войны 1812 года и сенатор С.С. Борщов начал строить в 1819 году на месте своей старой деревянной усадьбы каменный флигель, а чуть позже – роскошный по тем временам дом с коринфскими колоннами на фасаде. Особняк вышел довольно большим и напоминает скорее дворец, нежели жилой дом. Сенатор, привыкший жить на широкую ногу, был доволен и оставался в доме до самой смерти в возрасте 83 лет.Усадьба серьезно пострадала в 1847 году, когда в Костроме вспыхнул пожар. Сын Борщова, к которому собственность перешла после смерти отца, вознамерился продать дом, не тратя средств на его восстановление.Выкупил особняк купец Первушин. Он отреставрировал его и, решив использовать выгодное месторасположение дома, устроил в нем гостиницу «Лондон». Она просуществовала до 1870 года. В ней останавливался сам Николай I, наследник престола – будущий Александр II. Также неоднократно бывал поэт Н.А. Некрасов.Позже дом был выкуплен городом, в нем разместились службы окружного суда. В наше время появилась идея о том, чтобы отдать особняк Костромскому музею – для организации экспозиций и проведения выставок. Однако пока окончательного решения на этот счет нет.