Она основана Петром I, хотя сам декрет до наших дней не дошел и датой основания считается сентябрь 1714 года — начало выдачи читателям книг из библиотеки.

Первая государственная общедоступная библиотека России. Основу её фонда составили рукописи и книги Кремлевской царской библиотеки в Москве, личного собрания Петра I в Летнем дворце, Аптекарского приказа, Готторптской библиотеки герцогов Голштинских, Митавской библиотеки герцогов Курляндских, а также книжные и рукописные коллекции сподвижников Петра I.

В1901 году из-за ветхости системы отопления в Библиотеке произошел пожар, во время которого погибло более 1 500 томов ценных изданий. Это событие ускорило решение вопроса о строительстве нового здания для Библиотеки. В 1910 была утверждена правительственная смета на строительство нового здания Библиотеки, в 1914 строительство было закончено, но из-за начавшейся Первой мировой войны оно было передано военному министерству, которое разместило в нем 166-й сводный эвакуационный госпиталь. Библиотека въехала в это здание только в 1925.

С 1932 года в библиотечную сеть Академии наук вошли библиотеки ее периферийных баз и филиалов в европейской части страны, Сибири и на Дальнем Востоке. В 1934 году было создано особое отделение библиотеки – Московское отделение Библиотеки Академии наук (МОБАН). В 1973 году на базе МОБАН была создана Библиотека по естественным наукам (БЕН АН СССР), которая получила статус самостоятельной библиотеки АН.

С начала 1930-х годов Библиотека становится академическим хранилищем рукописной и старопечатной книги. Библиотеке была передана Лаборатория реставрации и консервации документов на правах самостоятельного библиотечного подразделения.

В годы Великой Отечественной войны (1941–1945) Библиотека Академии наук была переведена на военное положение. Уже в июле 1941 года были подготовлены к эвакуации ценнейшие материалы семимиллионного фонда. Быстрое приближение фронта к Ленинграду не позволило осуществить их отправку в тыл: 8 сентября 1941 года блокадное кольцо замкнулось. Все подготовленные к отправке книги и материалы остались в Библиотеке. Их перенесли в цокольный этаж здания, окна заложили песком, щитами и засыпали землей.

10–12 мая 1988 года Библиотеку посетила миссия ЮНЕСКО в составе: руководитель ЮНЕСКО по информационным программам и обслуживанию Ж. Токатлян, президент Международной федерации библиотечных ассоциаций и институтов (ИФЛА) Х.П. Ге, исполнительный директор Международного союза архивов К. Кетчкемети и сотрудник отдела ЮНЕСКО по общей информационной программе В. Монтвилофф. Заместитель генерального директора Т. Келлер в письме академику И.А. Глебову высоко оценил солидарность и решимость сотрудников библиотеки, читателей, а также власти при восстановлении пострадавшей от пожара библиотеки.

В 1988 г. в библиотеке снова случился пожар, а в 1994 году Библиотека завершила документальную проверку фондов, составила списки утрат, списки книг, подлежащих списанию, списки на восполнение фондов и продолжила обслуживание читателей в прежнем режиме.

В 2014 году Библиотека Российской академии наук отметила свой 300-летний юбилей.