Acquistata nel 1517 dalla famiglia Buonvisi, la villa passò nel 1651 a Oliviero e Lelio Orsetti, ai quali si deve la sistemazione seicentesca del giardino e la costruzione della Palazzina dell'Orologio, così detta per la presenza di un orologio a pesi che domina la facciata. Nel 1806 l'intero complesso fu acquistato da Elisa Baciocchi Bonaparte, sorella di Napoleone e principessa di Lucca e Piombino. Elisa raddoppiò la proprietà con l'acquisto della Villa del Vescovo dalla Mensa Arcivescovile e di altri terreni confinanti. Nel 1811 iniziarono i lavori di ristrutturazione del giardino e del palazzo tardo rinascimentale, al quale fu conferito uno stile neoclassico. L'anno successivo la sala da ballo fu affrescata da Stefano Tofanelli con La danza delle ore. Inoltre, Elisa fece edificare un sontuoso ingresso al parco e alla villa caratterizzato da due palazzine gemelle in stile neoclassico fronteggiate da un cortile semicircolare.

Il giardino, realizzato nella seconda metà del secolo XVII, ha conservato l'assetto e l'impianto originali nella parte alta. Caratterizzato dall'ampio piazzale posto davanti al palazzo, mantiene, dietro la villa, lo spettacolare e scenografico Teatro d'acqua, disposto attorno alla vasca semicircolare arricchita da vasi di fiori, da statue di divinità (Giove, Saturno, Adone, Pomona), da getti e cascate d'acqua. Due assi paralleli a quello d'ingresso conducono uno alla Palazzina dell'Orologio, l'altro al giardino dei limoni. Perpendicolare a quest'ultimo è l'asse che conduce al vestibolo e al teatro di verzura per la commedia. Il giardino di limoni è suddiviso in due parti: quella inferiore è occupata da quattro aiuole rettangolari; quella superiore dalla grande peschiera delimitata da una semplice balaustra e conclusa da una esedra in tufo e pietra liscia. Sul bordo della peschiera si trovano due statue di Giganti, rappresentanti i fiumi Arno e Serchio, che gettano acqua. Il teatro di verzura, realizzato nel 1652, comprende anche un vestibolo di pianta circolare disposto intorno ad una fontana. I sedili di pietra e i palchetti per gli spettatori, disposti a semicerchio, le quinte e le suppellettili dello spazio scenico sono delimitati da siepi di tasso in alcune parti alte 5,50 metri.

La parte bassa risulta notevolmente cambiata rispetto al cinquecentesco giardino della Villa del Vescovo. La sistemazione voluta da Elisa si presenta, infatti, con serie di gruppi d'alberi disposti asimmetricamente e con prati in leggero pendio. Ancora più in basso fu creato un lago circondato da boschi popolati da daini, capre e pecore merinos. I boschi, attraversati da ruscelli e viottoli, presentano molte specie arboree, quali faggi, pini, lecci, querce, tigli, platani. Furono, inoltre, introdotte molte specie rare, come magnolie, salici piangenti, querce americane, mimose, procurate nel napoletano dal giardiniere Raimondo Grimaldi. Del giardino della Villa del Vescovo rimane il ninfeo, detto Grotta di Pan, che intorno al 1920 fu collegato al giardino dei fiori in stile decò di forma rettangolare e caratterizzato da una grande vasca da cui si partono diversi canali.

Nel 1814 la proprietà passava a Maria Luisa di Borbone che aveva commissionato a Lorenzo Nottolini la costruzione di un osservatorio astronomico (la Specola) all'interno del parco. Dopo essere passata prima al demanio e poi ai Borbone di Capua, il complesso fu acquistato nel 1923 dai conti Pecci Blunt, ai quali si devono i lavori di restauro della villa e del parco.