За неброским в стиле классицизма фасадом таится настоящая жемчужина архитектурного искусства — подлинные интерьеры, поражающие роскошью и великолепием. До наших дней сохранился уникальнейший декор из ценнейшей древесины и мрамора, наборный паркет и лепка, а также многое другое, что способно поразить воображение самого взыскательного посетителя этого чудного места.   За время своего существования особняк сменил множество хозяев. В 1835 году дом купил князь Сергей Сергеевич Гагарин. По его заказу архитектором А. Х. Пелем был построен лицевой флигель по Большой Морской улице (дом №52), который и сохранился здесь до сих пор.

Сын князя Гагарина в 1864 году продал дом жене статского советника Александра Александровича Половцева Надежде Михайловне. Особняк был куплен на деньги приёмных родителей Надежды Михайловны — семьи банкира Штиглица. Ходили слухи, что она приходилась внебрачной дочерью великого князя Михаила Павловича.

Для семьи Половцевых в особняке были созданы великолепные парадные интерьеры, большую часть которых  можно наблюдать и сейчас. Над интерьерами работали Г. А. Боссе, Н. Ф. Брюлло, М. Е. Месмахер.

В 1930 году в особняке Половцева открылась школа профдвижения, позже преобразованная в Высшую профессиональную школу культуры. С 1934 года в особняке Половцева размещается Санкт-Петербургское отделение Союза архитекторов России. С тех пор особняк называют также Домом Архитектора.