Nata per desiderio di Francesco Marucelli come biblioteca pubblica per i meno abbienti, aprì al pubblico il 18 settembre 1752 nella sede dove tuttora si trova. Nel 1783 venne costituita la raccolta di disegni e stampe. La Biblioteca accrebbe considerevolmente il suo patrimonio librario a seguito delle soppressioni degli enti ecclesiastici, tra il secolo XVIII e gli inizi del secolo XIX. Altri importanti fondi giunsero nei primi anni del Regno d'Italia. Dal 1910, grazie alla legge che istituiva il deposito obbligatorio degli stampati, vengono depositate nella Biblioteca le opere stampate nella provincia di Firenze. Oggi possiede un ingente patrimonio costituito da oltre 500.000 volumi (tra cui incunaboli e cinquecentine), manoscritti e carte sciolte (autografi e carteggi di interesse letterario, storico, artistico e scientifico), periodici e libretti d'opera, oltre all'importante collezione di stampe e disegni (secoli XV-XIX). Fra gli autografi, vanno segnalate le carte di Francesco Redi, Giacinto Cestoni e alcune lettere di Antonio Vallisneri.

La Biblioteca conserva anche l'Erbario Crittogamico Italiano "Luigi Beuf". L'Erbario consiste in una raccolta di crittogame essiccate (circa 3.000 reperti) e incollate su fogli mobili. L'opera, conservata nella Sala Manoscritti e Rari, fu realizzata in trenta fascicoli, presso la Libreria Europea Luigi Beuf di Genova, tra il 1858 e il 1867.

Particolare importanza da un punto di vista scientifico rivestono anche una coppia di globi (celeste e terrestre) del 1699, opera del cosmografo veneziano Vincenzo Coronelli e acquistati dal bibliotecario Bandini nel 1755.