По свидетельству современников, Екатерина II, проезжая в 1775 году через Калугу, пожелала иметь здесь путевой дворец. Поскольку отсутствуют подлинные документы о времени строительства этого замечательного городского ансамбля, неизвестно также и имя автора его. Исследователи предположительно называют имена М. Казакова, В. Баженова, Ринальди, Кваренги и других архитекторов второй половины XVIII века.