Свое первое название — 2-я от Невы реки линия — улица получила в 1716 году. Уже после, в разное время, носила такие имена, как: 2-я Береговая, 1-я Артиллерийская линия, 1-я улица Артиллерийской слободы, 1-я Артиллерийская и  Пушкарская улица.

Первую церковь на этой улице освятили в 1747 году. Спустя пять лет императрица Елизавета I повелела построить тут каменную церковь с двухъярусной колокольней.

Сегодня улица может похвастаться выдающимися памятниками архитектуры. Здесь расположены Общежитие Виту, «Египетский дом», особняк Нейдгарта.

Уличное освещение Захарьевской улицы введено в эксплуатацию в 1969 году. В начале 2000-х годов по всей длине Захарьевской улицы установили современные фонари, представляющие собой трубы разной высоты и диаметров. Ряды этих конструкций входили в очевидный диссонанс с утонченными фасадами зданий XIX века. В связи с этим в 2012 году было установлено 65 декоративных опор со 195 источниками света уже в соответствии со стилистикой фасадов зданий улицы.

В июне 2026 года зеленая прогулочная зона на Захарьевской, от Литейного проспекта до Потемкинской улицы, получила название — Бульвар Мстислава Ростроповича. После возвращения из эмиграции в 1994 году известный музыкант жил неподалеку на набережной Кутузова вместе с супругой — популярной оперной певицей Галиной Вишневской.

В Ленинграде прошли значимые события карьеры маэстро. 16 марта 1947 года состоялся дебют в Большом зале Ленинградской филармонии. С 1961 год по 1966 год Ростропович заведовал кафедрой в Ленинградской консерватории, воспитав поколение талантливых виолончелистов. Музыкант активно занимался благотворительной деятельностью, в частности восстановил квартиру Дмитрия Шостаковича в центре города, превратив ее в музей.

В 2027 году состоится юбилей — 100-летие со дня рождения Мстислава Ростроповича. Этот бульвар — дань уважения человеку, который умел слышать музыку Петербурга и делать этот мир светлее.