Verso la fine del secolo XVIII il marchese Pietro Torrigiani ereditò un piccolo giardino, che successivamente ampliò acquisendo alcuni terreni limitrofi. Fra il 1813 e il 1814 affidò a Luigi de Cambray Digny la ristrutturazione del parco. Ne derivò un grande giardino all'inglese di gusto romantico con una ricca varietà di piante, di sculture e di edifici, al quale, dopo la sua ultimazione, fu dedicata una guida per facilitare la visita agli ospiti. Nella torre, costruita nel 1821 dall'architetto Gaetano Baccani, fu collocata al primo piano una biblioteca e al secondo, in una sala ottagonale, una raccolta di strumenti astronomici, tra cui alcuni cannocchiali. Sulla sommità, una terrazza fu destinata alla contemplazione del cielo e alla speculazione astrologica. La torre, infatti, rappresentava l'ultima tappa di un percorso iniziatico che prendeva avvio, all'inizio del parco, con la statua di Osiride, divinità egizia della morte e della resurrezione.

Il giardino ha un particolare rilievo soprattutto per la storia della botanica. Agli inizi del secolo XVIII Pier Antonio Micheli, fondatore, insieme ad altri appassionati naturalisti, della prima società botanica europea, vi praticava coltivazioni sperimentali di molte specie di piante. A. Pucci redasse nel 1839 un inventario delle essenze presenti nel giardino dal quale risultavano circa 5.500 piante in vaso e circa 13.000 piante in terra. Nel 1841 il giardino ospitò le sedute della Sezione Botanica del Terzo Congresso degli Scienziati Italiani sotto la presidenza di Antonio Targioni Tozzetti.

Oggi il giardino Torrigiani, sebbene mancante di una parte delle opere d'arte che lo arricchivano, costituisce uno dei giardini all'inglese meglio conservati all'interno delle mura fiorentine.