Во второй половине XVIII в. участок, где располагается здание по адресу Набережная реки Фонтанки, 164 принадлежал немецкому ученому Якобу (Якову Яковлевичу) Штелину, который прибыл в Петербург в 1735 году по приглашению директора Санкт-Петербургской Академии Наук барона И. А. Корфа.

К 1798 году для внучки ученого, жены купца Отта неизвестным архитектором был построен каменный дом в стиле классицизм.

В районе Калинкина моста, «между английской пивоварней и госпиталем»  в 1790-х гг. немецкий потомственный столяр Генрих Даниэль Гамбс на паях с богатым австрийским купцом Ионафаном Оттом открыл в Петербурге фабрику по изготовлению мебели.

В 1817 году указом императора Александра I создан Благородный пансион при Главном педагогическом институте. Это своего рода гимназия при университете. До 1817 года  пансион также помещался в здании университета (тогда еще Главного Педагогического института). В 1817 году пансион был переведен на набережную Фонтанки, в дом надворного советника Отта вблизи Старо-Калинкина моста, где находился до 1820 года. В 1819 году заведение переименовано в Благородный пансион при Санкт-Петербургском университете.

Среди воспитанников пансиона были будущий композитор М. И. Глинка и младший брат поэта Л. С. Пушкин.

В 1821 году пансион переехал в специально выстроенное для него здание на углу Социалистической ул. и ул. Правды (современные названия улиц).

В 1822 году дом был приобретен для богадельни Воспитательного дома. В 1867 году богадельня была закрыта, а в дом въехало Николаевское женское училище.

В 1906 году училище выехало из здания. В 1908 году в нем разместился 4-й Городской сиротский дом и попечительство о бедных. В 1911-1914 годах  здание пустовало, но с началом Первой мировой войны было передано соседнему Морскому госпиталю для размещения раненых.

В 1924 году в здании располагался 3-й детский дом для дефективных девочек.