Музей берет свое начало от Модель-камеры, основанной Петром I в 1709 году. Вся история Российского флота нашла отражение в обширном собрании музея. В 1805 году был учрежден "Морской музеум", основой коллекции которого стало собрание экспонатов Модель-камеры. В 1908 году музею было присвоено имя его основателя — Императора Петра Великого. Свое нынешнее название музей получил в 1924 году. Первоначально музей располагался в здании Главного Адмиралтейства, а в 1939 году он переехал в здание бывшей Фондовой биржи. В феврале 1941 года экспозиция была открыта в новых залах. История Российского флота зримо представлена в 10 залах основной экспозиции музея на первом этаже. На втором этаже располагаются три зала выставочного комплекса, где проходят временные выставки музейных предметов, а также предметов из собрания других музеев и частных коллекций.За три века своего существования музей стал неотъемлемой частью Военно-Морского Флота, а история музея — частью флотской истории.