Вопрос укрепления обороны Кронштадта встал особенно остро в связи с началом Крымской войны (1853–1856). На тот момент существовали лишь прообразы Третьей Южной батареи, которые, к слову, были созданы еще в начале XIX века для защиты тыла и фланга форта «Рисбанк» (будущий форт «Император Павел I»). Помимо начавшихся военных действий, в Балтике появилась еще и англо-французская эскадра. В связи с этими причинами и было принято решение о необходимости постройки нового форта взамен временных деревянных батарей.

Однако строительство началось только в 1865 году. После посещения генералом-адъютантом Э. И. Тотлебеном предполагаемого места застройки, было принято решение о преобразовании батареи в башенную, а также выдвинуть ее к западу. Таким образом, форт представляет собой искусственный остров, построенный на ряжах со свайным укреплением — обыденная практика постройки морских крепостей того времени.

В 1868 году указом Александра II батарею переименовали в Морскую Южную батарею №3 — «Башенную».

Форт был оснащен новейшими броневыми башенными установками — благодаря чему Батарея №3 стала новой страницей в истории обороны Кронштадта.

К началу XX века орудия форта — устарели, в связи с чем была предпринята попытка перевооружения новейшими пушками, но опыт оказался неудачным, поэтому в 1914 году форт перестроили и переименовали — в форт «Графа Милютина». Полное перевооружение состоялось уже после начала Первой мировой войны.

После 1917 года форт «Граф Милютин» неоднократно перевооружали — крепость становилась участником многих боевых действий. Исключением не стала и Великая Отечественная война: орудия форта били по фашистским самолетами. В память о военных подвигах на острове установлен обелиск.

В 1990 году крепость была включена в список всемирного культурного наследия ЮНЕСКО, как часть комплекса Кронштадтской крепости.

В настоящее время реализовывается идея о создании музея фортов Кронштадта и восстановлении памятников.