Он был прорыт в 1718–1719 годах рядом с Зимним дворцом Петра I, по которому позже и получил своё название. Современное название стало использоваться в первые годы XIX века. Благодаря этой водной протоке государь мог садиться на лодку буквально у порога своего дома. Сразу после прорытия Зимней канавки через неё было сооружено два подъёмных моста, в настоящее время известные как 1-й Зимний и Эрмитажный.

В 1783–1787 годах на месте петровских палат было выстроено трехэтажное здание Эрмитажного театра. Напротив этого шедевра Джакомо Кваренги в те же годы вырос Большой Эрмитаж, творение Юрия Фельтена. На уровне второго этажа два памятника архитектуры связал переход, опирающийся на мощную каменную арку, перекинутую через канавку. При завершении строительства этих зданий ее набережные «оделись» в гранит, вдоль берегов протянулись строгие литые решетки, выполненные по проекту скульптора Иоганна Дункера.

Кроме эрмитажных построек к Зимней канавке обращены некоторые другие памятники архитектуры — здание казарм Первого батальона лейб-гвардии Преображенского полка, архив Госсовета и дом Аракчеева.

Первые деревянные подъемные мосты, сооруженные по голландскому образцу, были перекинуты через канал сразу после его возникновения. В настоящее время его пересекают три моста: 1‑й и 2‑й Зимние, а также Эрмитажный, построенный в 1763–1766 годах и ставший первым каменным мостом Петербурга. 

Мировую известность канал получил благодаря композитору Петру Чайковскому, включившему в оперу «Пиковая дама» эпизод с бросающейся в воды Зимней канавки несчастной Лизой.