La sistemazione originaria del giardino risale alla costruzione del palazzo di Bartolomeo Scala, realizzato su progetto di Giuliano da Sangallo tra il 1472 e il 1480. Citato dalle fonti come uno dei più bei giardini di Firenze, la proprietà passò alla fine del secolo XVI al cardinale Alessandro de' Medici e, quindi, a sua sorella Costanza sposata con un Della Gherardesca. Il giardino, d'impianto classico, presentava un orto, un vivario e una ragnaia (in origine di proprietà dell'Arte della Lana).

Il conte Guido Alberto Della Gherardesca diede al giardino una sistemazione all'inglese, creando viali, un laghetto artificiale e una piantagione di alberi d'alto fusto di specie rare, delle quali sono ancora visibili un grande acero, una sequoia e un Tassus Baccata, la pianta più imponente del giardino. Numerose erano le rarità botaniche presenti, come i primi mandarini, ricordati da Antonio Targioni Tozzetti, che furono coltivati a Firenze nel 1844. Durante i lavori di sistemazione del giardino, furono edificati alcuni piccoli edifici, quali un tempietto ionico e un kaffeehaus, su progetto di Giuseppe Cacialli, e un tepidarium con la statua del conte Camillo che ricordava le bonifiche della Maremma. Nel 1857 il giardino ospitò la quarta Esposizione della Società Toscana di Orticoltura.

Dopo la Seconda Guerra Mondiale, la proprietà, passata alla Società Metallurgica Italiana, fu sottoposta ad una serie di interventi di recupero per opera di Piero Porcinai, riportandola all'antico splendore.