Зато царскому правительству такая Калуга, наподобие вятки или Вологды, представлялась очень удобным местом для политических ссыльных. После отбытия сурового наказания в отдаленных местах с 1856 года на поселении в Калуге находились декабристы Г. С. Батеньков, Е. П. Оболенский и П. Н. Свистунов. Некоторое время здесь был сын декабриста С. Н. Кашкина, бывшего владельца имения в Нижних Прысках Козельского уезда, петрашевец Н. С. Кашкин, которому после тяжелой каторги в Сибири и службы солдатом в действующей армии на Кавказе разрешено было, наконец, вернуться в родные места.