В 1844 году К.А. Тоном была разработана схема регулярного Академического сада. А.П. Брюллов в 1847 году предоставил новый план, по которому и дошла до настоящего времени планировка сада. Здесь были проложены дорожки, установлена ограда, а в 1847 году на перекрёстке центральных аллей появилась гранитная колонна.

Первоначально по проекту Воронихина колонна венчалась шаром. После её установки в саду  шар был заменён на символ искусств — лиру.

В 1890 году по проекту В.А. Кенеля была сооружена металлическая садовая ограда с воротами. В 1897 году в юго-западном углу сада построена Батальная мастерская, где создавались этюды с натурщиков верхом на конях. 

Со стороны четвертой линии Васильевского острова к саду была пристрона литейная мастерская, в которой работал барон П.Клодт - автор скульптурных групп Аничкова Моста, памятника И.А. Крылову в Летнем саду и монумента Николаю Первому на Исаакиевской площади. Сегодня скульптурное изображение Клодта, стоящего у станка с макетом памятника Николаю I украшает сад Академии Художеств.