Своё имя улица, как и Большая Конюшенная, получила по Конюшенному двору — зданию императорских конюшен на Конюшенной площади. Название появилось в 1776 году. С октября 1918 по 4 октября 1991 года улица носила имя революционера-народника Софьи Перовской.

В 1877 году на средства домовладельцев посередине улицы был устроен бульвар, названный Мейендорфским в память генерал-адъютанта барона Мейендорфа, в управлении которого находились значительные благотворительные заведения лютеранской церкви по этой улице. Однако городская управа долгое время отказывалась принять бульвар на содержание города, высаженные липы не прижились. В 1898 году бульвар перешёл в ведение города. Согласно описанию 1907 года он представлял из себя устроенную, утрамбованную дорожку, обсаженную по краям в один ряд деревьями—липами и кленом. С начала XX века на Вербной неделе на бульваре устраивался «Вербный торг».

2 сентября 1997 года улица была открыта как пешеходная зона.

8 декабря 1997 года в середине улицы открыт бронзовый памятник Николаю Васильевичу Гоголю (скульптор Белов Михаил Владимирович, архитектор Васильковский Владимир Сергеевич).