L'insediamento originario, legato al complesso della villa di Castello, nota anche come Villa dell'Olmo o Reale, ha tratto origine dalla presenza dell'acquedotto romano della Valdimarina situato tra Sesto Fiorentino e Firenze. Lo stesso nome del luogo deriva da castellum, il cui significato era appunto quello di serbatoio o cisterna d'acqua. Nel 1477, Lorenzo e Giovanni di Pier Francesco de' Medici acquistarono una costruzione rurale, sorta intorno a una torre del secolo XII, che ampliarono e arricchirono con opere d'arte, tra le quali erano la Nascita di Venere e la Primavera commissionate da Lorenzo al Botticelli e trasferite nel secolo XIX agli Uffizi.

Dopo i gravi danni subiti all'indomani della cacciata dei Medici da Firenze, il complesso fu coinvolto da imponenti lavori di ristrutturazione voluti da Cosimo I, il quale, intorno al 1538, commissionò a Niccolò Pericoli detto il Tribolo il progetto del giardino, realizzato sulla base di un complesso programma allegorico, attribuito a Benedetto Varchi e allo stesso Tribolo. Il programma prevedeva un sistema di allegorie che doveva esaltare il potere mediceo attraverso alcuni gruppi scultorei, raffiguranti montagne e città dello Stato toscano, tra loro legati da un percorso d'acqua, rappresentante i fiumi che lo percorrevano. Personificazioni ed allegorie delle virtù, a sostegno del potere mediceo, erano incarnate in statue poste nelle nicchie lungo i muri perimetrali, dove si riconoscono le Quattro Stagioni e le raffigurazioni di Liberalità, Sapienza, Nobiltà, Valore, Pietà, Giustizia, Arti, Lingue, Scienze, Armi, Pace, Leggi. Il giardino costituisce uno stupendo esempio di parterre all'italiana. Le piante esotiche presenti nel giardino furono descritte dal botanico e zoologo francese Pierre Belon, che visitò la villa durante il viaggio compiuto tra il 1546 e il 1549. La particolarità delle piante e i bei percorsi del giardino e del bosco furono descritti da Montaigne, che soggiornò nella villa durante la seconda metà Cinquecento.

Particolarmente suggestiva è la Grotta degli animali, costituita da due camere dove sono presenti due vasche in marmo bianco e una in marmo fior di pesco di Seravezza, sormontate da gruppi scultorei raffiguranti un suggestivo campionario di animali, da cui la grotta prende il nome. Spettacolari giochi d'acqua sono creati da una serie di zampilli posti sul pavimento della grotta, alimentati da un complesso sistema idraulico. Ai lati di questo spazio si trovano due giardini segreti, che ricordano il giardino medievale: in quello a est, chiamato "Ortaccio", fu costruito su un grande albero un padiglione dove fu posta una tavola di marmo con fontana musicale, mentre nel secolo XVII ne fu realizzato un secondo, detto "Stufa dei mugherini", dove si trovava la collezione di mugherini o gelsomini avviata da Cosimo III. Nell'altro giardino segreto, collegato alla cucina e detto "dell'imbrecciato" per la pavimentazione in brecciolino policromo, sembra fosse presente una statua di Esculapio, dio della medicina e delle erbe. Per alimentare il complesso percorso d'acqua dalle numerose fontane, fu realizzato da Piero da San Casciano l'acquedotto della Castellina, che permetteva di far arrivare l'acqua da una sorgente poco distante.

In epoca napoleonica fu realizzata un ghiacciaia al centro del giardino e fu sostituita la statua di Firenze con quella di Ercole e Anteo. Con il ritorno dei Lorena, fu realizzato dall'architetto boemo Joseph Frietsch l'ampio bosco all'inglese che avrebbe collegato le ville di Castello e della Petraia. Oggi la villa di Castello è sede dell'Accademia della Crusca.