Il giardino, uno dei più rinomati della Firenze di fine Cinquecento, apparteneva a Matteo Caccini, celebre floricultore, collezionista e studioso di botanica dell'epoca. Annesso al palazzo Caccini, passato alla famiglia Vernaccia e quindi Lustrini, il giardino era celebre per le piante rare. Un disegno della Biblioteca Riccardiana presenta il giardino diviso in diverse aree con al centro una fontana per innaffiare, dove venivano coltivati e studiati i nuovi bulbi.

Nel 1607, il botanico fiammingo Carolus Clusius (Charles l'Ecluse), a cui Caccini era solito inviare semi di piante del suo giardino, vi ammirò esemplari di anemoni fatti arrivare da Costantinopoli. Nel giardino crescevano anche bellissimi giacinti (Hyacinthus orientalis) provenienti sempre da Costantinopoli, il mugherino semidoppio fatto arrivare da Alessandria d'Egitto e cantato anche da Francesco Redi (detto anche "mugherino del Granduca", Jasminum sambac), e il Quamoclit (Ipomaea quamoclit).

Le condizioni attuali non permettono di intuire l'antico disegno poiché oggi il giardino, di dimensioni ridotte, risulta costituito da un semplice prato con siepi di bosso e alcune statue.