Anticamente appartenuto alla famiglia Capponi e, dal Cinquecento, ai Bardi di Vernio, il palazzo deve l’aspetto attuale ai rifacimenti commissionati nell’Ottocento dai nuovi proprietari, Ferdinando Guicciardini e suo figlio Carlo. Fu proprio sotto quest’ultimo che l’architetto Giuseppe Poggi, incaricato del progetto, trasformò, oltre agli ambienti del palazzo, l’annesso giardino dotandolo di una montagnola elevata che tramite un vialetto potesse collegare la loggia terrena al piano superiore. Originariamente concepito come orto, il piccolo giardino aveva assunto già all’epoca dei Bardi notevole importanza da un punto di vista botanico, essendo stato destinato alla coltivazione di piante rare ed esotiche come la Camelia japonica, la Fuchsia coccinea, il Ginko biloba (chiamato anche l’"albero dei quaranta scudi" per l’altissimo prezzo a cui fu acquistato), o il celebre "mugherino di Goa", che era stato cantato nel Seicento dal segretario dell'Accademia del Cimento Lorenzo Magalotti. Intorno al 1790 il conte Piero Bardi fece arrivare da Londra un esemplare di Magnolia grandiflora, mentre dalla Francia importò una "rosa gallica holoserica", che dal proprietario assunse anche il nome di "Rosa nera de' Bardi". Pur avendo perso, oggi, qualsiasi connotazione di carattere scientifico, il giardino conserva, grazie alla sua posizione e alla peculiare struttura conferitagli dal Poggi, un indubbio fascino di stampo romantico.