В 1744 году вице-канцлером Российской империи был назначен Михаил Илларионович Воронцов. Он участвовал в дворцовом перевороте, в результате которого к власти пришла дочь Петра I Елизавета. Воронцов был в родственных связях с Романовыми: жена канцлера Анна Скавронская приходилась двоюродной сестрой императрице. Для столь значимого человека потребовалось соответствующее представительство. Воронцову были переданы участки Макарова и Волкова. Весной 1749 года придворный зодчий Франческо Бартоломео Растрелли начал составлять проект нового дворца.

Растрелли создал типичный для себя дворец в стиле барокко, фасад которого украшен пучками колонн и богатой лепниной. Архитектор впервые в своей практике здесь ввёл барельефы мужских голов в узоры наличников окон. Позже этот приём он использовал при оформлении стен Зимнего дворца.

Воронцовский дворец расположился главным фасадом к Садовой улице. Чугунная ограда перед усадьбой была выполнена по рисункам Растрелли. Со стороны Фонтанки был создан большой регулярный парк. Первоначально в центре главного корпуса располагалась арка для въезда во внутренний двор. Позже её заложили и организовали на её месте Главный вестибюль. Кроме дворца зодчим здесь был построен целый комплекс зданий. Со стороны Фонтанки находился одноэтажный корпус с террасой с видом на реку.

Бывший Воронцовский дворец в 1810 году был отдан Пажескому корпусу. Это самое привилегированное военное училище в истории дореволюционной России было основано в 1759 году. 4 октября 1918 года петроградская «Красная газета» сообщила, что «здание бывшего Пажеского корпуса на Садовой улице со всем инвентарем переходит в ведение Комиссариата внутренних дел».  21 августа 1943 года было принято правительственное постановление, которое предусматривало создание девяти суворовских военных училищ. В 1955 - 1958 год в доме 26 размещались два учебных заведения: пехотное училище и суворовское училище, а с 1958 года Суворовское военное училище полностью заняло здание бывшего Воронцовского дворца.