Литовский замок построен в 1782-1787 гг. архитектором И. Е. Старовым.  Это было здание в два этажа с семью круглыми башнями по углам, из-за которых первоначальное название замка было «Семибашенный». 

В начале XIX века в здании были расквартированы полки. От одного из них, Литовского мушкетного полка, здание и получило своё название.

В 1823-1826 гг. замок был перестроен под городскую тюрьму для уголовных преступников.по проекту архитектора И. И. Шарлеманя. Городская тюрьма насчитывала 103 камеры и подразделялась на 10 изолированных отделений, в зависимости от рода уголовного преступления. Здесь планировалось размещать до 600 арестантов. В тюрьме были православная церковь Всемилостивого Спаса, мечеть, католическая и лютеранская церковь.

Обычно в Литовском замке содержалось 800—810 заключённых, однако в годы после крестьянской реформы 1861 года число заключённых в нём нередко превышало 900-1000 человек. На двух этажах размещались в разных отделениях убийцы, воры, мошенники, подозреваемые в воровстве и в мошенничестве (отдельно от уже осуждённых), бродяги, беспаспортные, а также так называемые «бесхлопотные» арестанты (купцы, мещане и иностранцы), освобождённые от работы.

Различный цвет воротников курток арестантов (голубой, жёлтый, красный, малиновый, черный, зелёный) обозначал принадлежность к тому или иному отделению. Со второй половины XIX века в Литовском замке наряду с уголовными преступниками содержались политзаключенные. В начале XX столетия узниками Литовского замка оказались участники рабочего движения, в том числе «Обуховской обороны» 1901 года.

27 февраля 1917 г. около 6 часов утра матросы 8-го флотского экипажа, расквартированные в Крюковских морских казармах, вместе с рабочими судостроительных предприятий захватили Литовский замок. Были выпущены все заключённые, в том числе уголовники. Политические заключённые присоединились к восставшим и возглавили колонну демонстрантов под красными флагами. Здание было сожжено. В 1929 г. принято решение о сносе замка, в 1929-1930 гг. он был разобран.

Сейчас на месте Литовского замка находятся дома сталинского периода.