Il giardino, annesso al palazzo edificato intorno alla metà del secolo XVI su progetto di Giuliano di Baccio d'Agnolo e terminato da Bartolomeo Ammannati, era famoso per le molte statue che lo adornavano, acquistate o commissionate dal patrizio Ugolino Grifoni, Maestro Generale dell'Ospedale di San Giacomo di Altopascio e segretario di Cosimo I de' Medici. In particolare, fu famosa una fontana monumentale decorata con le statue di Giasone, di Venere e di due mostri, attribuite a Giovanni Bandini detto dell'Opera. Il giardino, originariamente all'italiana, fu ingrandito nel Settecento e modificato alla fine dell'Ottocento, quando furono sistemate le aiuole curvilinee. Nel 1892 fu dotato di una serra in ferro e vetro. Arricchiscono il giardino un boschetto di banani e un singolare monumento dedicato a un esemplare secolare di Laurus camphora, seccato durante l'inverno del 1908. Particolarmente interessanti sono le collezioni di camelie e azalee che, ancora oggi, ogni primavera riempiono di colori il giardino.