Своё первое название улица получила в 1716 году. В разное время носила следующие имена: 2-я от Невы реки линия, 2-я Береговая, 2-я от Невы реки, 1-я Артиллерийская линия, 1-я улица Артиллерийской слободы, 1-я Артиллерийская, 1-я, Артиллерийская, Пушкарская.

Первую церковь на этой улице освятили в 1747 году. Спустя пять лет императрица Елизавета I повелела построить тут каменную церковь с двухъярусной колокольней.

Сегодня улица может похвастаться выдающимися памятниками архитектуры. Здесь расположены Общежитие Виту, «Египетский дом», особняк Нейдгарта.

Уличное освещение Захарьевской улицы введено в эксплуатацию в 1969 году. Спустя 30 лет устаревшее советское оборудование было капитально отремонтировано. В начале 2000-х годов по всей длине Захарьевской улицы установили так называемые современные фонари, представляющие собой трубы разной высоты и диаметров. Ряды этих конструкций входили в очевидный диссонанс с утончёнными фасадами зданий XIX века. В связи с этим в 2012 году было установлено 65 декоративных опор со 195 источниками света уже в соответствии со стилистикой фасадов зданий улицы.

В июне 2026 года зелёная прогулочная зона на Захарьевской улице от Литейного проспекта до Потёмкинской улицы получила название Бульвар Мстислава Ростроповича. После возвращения из эмиграции в 1994 году известный музыкант жил неподалёку на набережной Кутузова вместе с супругой – популярной оперной певицей Галиной Вишневской.

В Ленинграде прошли значимые события карьеры маэстро. 16 марта 1947 года состоялся дебют в Большом зале Ленинградской филармонии.  С 1961 по 1966 год Ростропович заведовал кафедрой в Ленинградской консерватории, воспитав поколение талантливых виолончелистов. Музыкант активно занимался благотворительной деятельностью, в частности восстановил квартиру Дмитрия
Шостаковича в центре города, превратив её в музей.

В 2027 году город отметит 100-летие со дня рождения Мстислава Ростроповича. Этот бульвар — дань уважения человеку, который умел слышать музыку Петербурга и делать этот мир светлее.
Декоративные исторические опоры расположены вдоль этого бульвара. Захарьевскую улицу освещают подвесные светильники.