Il palazzo, acquistato da Francesco Feroni verso il 1770 e restaurato da Zanobi del Rosso, comprendeva, sin dal Cinquecento, un giardino che divenne celebre nel secolo XIX per le piante rare che vi venivano coltivate. In particolare fu famosa la prima varietà di ortensie importata a Firenze e fatte coltivare dalla marchesa Luisa Feroni. Nel giardino lavorò Angiolo Pucci, membro di una delle più importanti famiglie di giardinieri fiorentini. Era Antonio Targioni Tozzetti a ricordare come agli inizi dell'Ottocento il giardino della marchesa Luisa Feroni in via dei Serragli fosse ricco di molte piante "rare per quel tempo". Recentemente restaurato, il giardino si presenta ancora oggi con una partitura geometrica, con fontana ellittica al centro e portici.