До передачи участка земли под строительство дворца на территории между рекой Мойкой, Английским проспектом и улицей Писарева располагались строения бывших владельцев — церемониймейстера Сабурова, генерал-майора Альбрехта и других. В 1872—1882 годах особняком владел хозяин машиностроительных заводов Исаак Миронович Малкиель (1844—1881).

В 1882 году участок приобрело Дворцовое ведомство для назначенного главным начальником флота и морского ведомства сына Александра Второго — великого князя Алексея Александровича.

Уже в 1883 году архитектором М. Е. Месмахером начинается проектирование нового дворца. Для экономии и ускорения хода строительства в новое здание были встроены сохранившиеся на участке постройки. По пожеланию Великого князя был выбран стиль, слегка напоминающий французские шато.

После смерти князя Алексеевский дворец унаследовали его братья — Владимир и Павел, а также племянник Михаил Александрович. Новые владельцы сдавали в аренду пустующий дворец и прилегающие к нему сад и оранжерею. Например, в продолжение 18 месяцев его занимало германское посольство.

Довольно непростые времена современный Дом Музыки переживал в послереволюционные времена, был он и Домом пионеров, и автошколой, во времена блокады успел побывать складом и к 2005 году находился в плачевном состоянии.

Новый этап в истории здания начинается с октября 2005 года, когда по инициативе Министерства Культуры России было принято решение о создании Дома Музыки в Санкт-Петербурге, который и располагается с февраля 2006 года в здании дворца. В этом же году началась продлившаяся до 2009 г. реставрация дворца по проекту института.

Санкт-Петербургский Дом музыки — учреждение, основная цель которого состоит в сохранении и развитии традиций классического музыкального искусства, а также в подготовке студентов и  выпускников консерваторий к международным конкурсам и фестивалям.