В 1831 году в особняке был открыт первый в России частный публичный музей, наполненный уникальными коллекциями древностей и крупнейшим по тем временам книжным собранием России. Музей мог посетить бесплатно каждый желающий. Все расходы по его содержанию взял на себя С. П. Румянцев. В 1861 году Румянцевский музей был перевезён в Москву. Позднее его коллекции легли в основу собрания Российской Государственной библиотеки и Музея Изобразительных искусств им. А. С. Пушкина. Особняк как частная собственность переходил от одного владельца к другому. С 1880 по 1916 он принадлежал герцогам Лейхтенбергским—потомкам правящих династий России и Франции. В настоящее время особняк Румянцева является частью государственного музея истории Санкт-Петербурга.