Основой его послужили сады первой половины XVIII в. с оранжереями и фруктовыми деревьями при домах, которые были скуплены, когда началось устройство Адмиралтейства. На территории сада оказался и домик Петра I.

Вначале он был регулярным. Впоследствии сад превратился в пейзажный. На планах 1860-х гг. видна четкая планировка сад с бассейном и садовыми сооружениями. Сад стал называться Летним в конце XIX в.

В 1868 г. в восточной стороне Летнего сада было построено по типу великорусской избы летнее помещение Морского собрания.   

Существует проект реконструкции и реставрации Летнего сада, который включает воссоздание деревянного Домика Петра I, находившегося здесь.

Сначала сад был огорожен простым деревянным забором. В 1873 г. появилась чугунная ограда на каменном цоколе (арх. Виндельбандт В. В.), отлитая на Кронштадтском пароходном заводе.