Канал был прорыт в 1718–1719 годах рядом с Зимним дворцом Петра I, по которому и был назван позже, в первые годы XIX века. Благодаря этой водной протоке государь мог садиться на лодку буквально у порога своего дома. 

В 1783–1787 годах на месте петровских палат было выстроено трехэтажное здание Эрмитажного театра по проекту итальянского архитектора Дж. Кваренги. Напротив в те же годы вырос Большой Эрмитаж — архитектора Ю. М. Фельтена. На уровне второго этажа два памятника архитектуры связал переход, опирающийся на каменную арку, перекинутую через канавку. При завершении строительства этих зданий ее набережные «оделись» в гранит, вдоль берегов протянулись строгие литые решетки, выполненные по проекту скульптора И. Дункера.

Кроме эрмитажных построек к Зимней канавке обращены некоторые другие памятники архитектуры: здание казарм Первого батальона лейб-гвардии Преображенского полка, архив Госсовета и дом Аракчеева.

Первые деревянные подъемные мосты, сооруженные по голландскому образцу, были перекинуты через канал сразу после его возникновения. В настоящее время его пересекают три моста: 1‑й и 2‑й Зимние, а также Эрмитажный, построенный в 1763–1766 годах и ставший первым каменным мостом Петербурга. 

Мировую известность канал получил благодаря композитору Петру Чайковскому, включившему в оперу «Пиковая дама» эпизод с бросающейся в воды Зимней канавки несчастной Лизой.