Здание для нее было построено в 1871-1875 годах инженером-архитектором Карлом Яковлевичем Маевским. Открылась 1 августа 1875 года как «образцовая тюрьма», рассчитанная на 700 заключенных, кроме того, в здании находился тюремный лазарет. До революции тюрьме на Шпалерной содержались многие участники революционного движения. Так в 1895–1897 годах в камере номер 193 содержался В. И. Ленин. Во время Февральской революции все заключённые были освобождены восставшим народом, а здание Окружного суда было сожжено. В 1932 году на месте сожженного Окружного суда было построено здание Ленинградского ОГПУ, которое в народе называли Большим Домом (Литейный, д. 4).

В 1920-е бывший Дом предварительного заключения стал следственной тюрьмой Ленинградского управления ОГПУ-НКВД-МГБ-КГБ. С 1931 по 1932 год на Шпалерной, 25 действовала «шарага» ОКБ-12 — проектно-конструкторская организация, в которой работали заключенные-специалисты. Они разрабатывали проекты по строительству Большого дома, гаража ОГПУ на Манежной площади и другие.

В настоящее время Дом предварительного заключения официально называется «СИЗО-3».