Quando, nel 1406, i Fiorentini conquistarono Pisa, il circuito delle mura medievali fu potenziato con la costruzione di un grande baluardo quadrangolare, la Cittadella Vecchia, in prossimità del Ponte a Mare. A tale opera partecipò, probabilmente, anche Filippo Brunelleschi che sappiamo essere stato a Pisa nel 1424 per sovrintendere alla fortificazione del tratto di mura in prossimità della Porta a Lucca. Pochi anni dopo, nel 1440, il sistema difensivo pisano fu ulteriormente potenziato con la realizzazione di una seconda piazzaforte, la Cittadella Nuova, collocata sul lato opposto della città. Dopo la seconda conquista di Pisa nel 1509, il progetto del sistema di fortificazioni fu affidato prima ad Antonio e poi a Giuliano da Sangallo. Nel 1512 la Fortezza Nuova, grande bastione verso l'Arno che ampliava la "Cittadella Nuova", fu terminata. La struttura non venne sostanzialmente modificata da Cosimo I, che provvide a rafforzare il tracciato difensivo con la costruzione di nuovi bastioni nelle zone di Porta Calcesana e Porta a Mare.

Ubicato all'interno della "Cittadella Nuova", il Giardino ospitava nel Settecento le riunioni della Colonia Alfea (l'Arcadia pisana): tra le presenze illustri, Carlo Goldoni, che vi recitò un sonetto. Il Giardino fu trasformato agli inizi dell'Ottocento dall'architetto Giovanni Caluri per Domenico Scotto, armatore livornese che aveva acquistato la proprietà nel 1798. Tra gli elementi scultorei che lo adornavano, la statua ottocentesca del matematico pisano Leonardo Fibonacci è stata ricollocata oggi nel Camposanto monumentale. Dagli anni Trenta del Novecento è diventato parco pubblico.