Строился в 1853—1861 годах известным мастером эклектики А. И. Штакеншнейдером и его помощниками Августом Ланге и Карлом Циглером. При дворце имелись манеж и церковь, освящённая во имя иконы «Всех скорбящих Радость», с подклетом наподобие пещеры Гроба Господня.

После смерти владельца в 1894 году приобретён казной для размещения женского института Ксении Александровны.

После революции перешёл в распоряжение профсоюзов, которые переименовали его во «Дворец Труда». Помещения, некоторые из которых сохранили первоначальную отделку, ныне сдаются в аренду коммерческим структурам.