Современный вид строение получило, когда его владельцем стал Павел Дмитриевич Пузыревский-Пузан, действительный статский советник, участник заграничного похода против Наполеона 1813 года, председатель Вологодской палаты гражданского суда. После смерти хозяина особняк перешёл в счёт погашения долгов в городскую казну