Il giardino, per la sua particolare posizione a ridosso di una gora parallela al corso dell'Arno, fu collocato da Benedetto Varchi fra i dieci più importanti giardini di Firenze. Ingrandito una prima volta nella prima metà del secolo XVI, era costituito, come si vede anche dalla pianta del Buonsignori, da un orto con aiuole dal disegno geometrico, separate da una limonaia, e da un prato con pozzo arricchito da vasi di agrumi. Verso la metà del secolo XVII fu costruita una loggia che si concludeva verso il fiume, in modo da creare un rapporto più stretto con l'Arno. Successivamente le partiture del giardino vennero ridisegnate dall'ingegnere Antonio Ferri.

Nel corso del secolo XVIII furono apportate le modifiche più importanti al giardino. Con l'abbattimento delle mura che chiudevano la gora sull'Arno, il giardino fu ampliato e fu messo in diretto collegamento con il fiume. Tra il 1803 e il 1806 fu realizzata, su progetto di Giuseppe Manetti, un'ampia passeggiata pensile, posta sul muro della gora, che diventava un corso d'acqua interno al giardino contribuendo a dilatarne gli spazi con le immagini riflesse. La passeggiata, in direzione di Porta San Niccolò, era arricchita da edicole, belvederi e piazzole di sosta. Il suo percorso si concludeva in un Kaffeehaus edificato su una delle pigne di Ponte alle Grazie (in passato Ponte Rubaconte).

Nel 1856 la proprietà venne ereditata da Alfredo Serristori che fece trasformare il giardino nel bosco all'inglese in parte ancora oggi visibile. A seguito dei lavori per Firenze capitale fu aperto il lungarno Serristori, che comportò la drastica riduzione del giardino, la distruzione della passeggiata e del Kaffeehaus e la costruzione, nel 1873, di una nuova facciata lungo l'Arno. Oggi il giardino presenta dimensioni molto ridotte e risulta in cattive condizioni di manutenzione, non consentendo una piena fruizione turistica.