Здание было спроектировано в Петербурге и считалось «как нормаль для Дворянских домов в губерниях», то есть стало типовым. Строительством руководил А. Д. Кавелин, надзор за работами выполнял помощник архитектора П. И. Гусев, вышедший из крепостных. Для возведения стен калужский кирпичник И. С. Астреев изготовил и поставил без малого 2 миллиона штук кирпичей, на которых изобразил свои инициалы вр” «НА». На строительстве стен, на штукатурных и лепных работах трудились мастера из Кондрова: П. Матвеев, Д. Федоров, Н. Назаров, С. Лаврентьев, К. Ефимов, А. Васильев, 3. Емельянов, плотники Ф. Емельянов, М. Матвеев, С. Абрамов, Л. Николаев, С. Иевлев, М. Сидоров и другие.