В 1739 году на этом участке по проекту Ф. Б. Растрелли был построен деревянный дворец для графа Рейнгольда-Густава Левенвольде, приближённого императрицы Анны Иоанновны. Рядом находилась усадьба его любовницы Н. Ф. Лопухиной, потому Левенвольде и выбрал этот участок. После прихода к власти императрицы Елизаветы Петровны Левенвольде был отправлен в ссылку, а дворец перешёл в казну. В 1743 году она подарила усадьбу своему бывшему фавориту А. Я. Шубину. Однако Шубин, как бывший фаворит, посчитал для себя небезопасным находиться в Санкт-Петербурге, потому уехал из столицы.

В 1749 году участок перешёл во владение гетмана Украины и президента Академии наук Кирилла Григорьевича Разумовского. В 1760 году деревянное строение из-за ветхости было разобрано. В газете "Санкт-Петербургские ведомости" находилось следующее объявление: "Графа К. Г. Разумовского деревянный дом на каменном фундаменте желающим разобрать, перевезти и поставить на Крестовском острову... явиться могут в домовой канцелярии". В 1762 году архитектор А. Ф. Кокоринов начал строить новое каменное здание. К 1766 году работу закончил Ж. Б. Валлен-Деламот. На территории усадьбы до сего дня сохранился участок сада. Со стороны Казанской улицы его ограждает решётка Казанского собора. Дворец Разумовского был известен своими балами и маскарадами. Штат прислуги здесь насчитывал 260 человек. На праздники граф устраивал раздачу милостыни, на которую сюда собиралось до двух тысяч человек.

В 1781 году Разумовский продал свой дворец польскому графу К. П. Браницкому и уехал из Санкт-Петербурга. Граф Браницкий прожил здесь до 1798 года, после чего уехал из России. Дворец Разумовского был продан в казну за 450 000 рублей. Только что выкупленный дворец был передан Воспитательному дому, созданному по указу Павла I от 2 мая 1797 года. Покровительствовала ему жена императора Мария Фёдоровна, первым руководителем стал И. И. Бецкой. Воспитательный дом предназначался прежде всего для обездоленных детей: сирот-подкидышей, инвалидов. На фасадах зданий и на арке у входа можно видеть скульптурное изображение пеликана. Это символ, отражающий предназначение находящегося здесь учреждения. В 1797 году Воспитательному дому было передано соседнее здание - дом №50 на набережной Мойки. В 1798 году для Воспитательного дома помещения дворца Разумовского были перепланированы. В 1829-1834 годах здесь по проекту Д. Квадри и П. С. Плавова была построена домовая церковь и двухэтажный лазаретный корпус, надстроенный в 1842-1844 годах третьим этажом. Боковые флигеля перестраивались в 1831-1834 годах.В 1837 году Воспитательный дом был преобразован в Сиротский женский институт (с 1885 года - Николаевский сиротский институт). Его воспитанницы получали профессию педагога. В 1903 году на здесь было образовано первое в России педагогическое учреждение - Императорский Женский педагогический институт.

В 1839-1842 годах для института был построен новый корпус. В 1868 году перед ним был установлен памятник И. И. Бецкому работы А. Лаверецкого, копия работы датского скульптора Я. Замельгака. В 1918 году институт переименовали в Первый Педагогический. Затем здесь же возникли Второй и Третий институты, другие самостоятельные учебные заведения. В 1922-1925 годах на их базе был создан Ленинградский государственный педагогический институт им. А. И. Герцена. В 1961 году перед главным входом был установлен памятник выдающемуся русскому педагогу К. Д. Ушинскому (скульптор - В. В. Лишев). В 1991 году учебное заведение получило статус Университета.