La villa Celle cominciò ad assumere le sembianze attuali a partire dalla seconda metà del secolo XVII, quando i Fabroni iniziarono alcuni lavori di ammodernamento. In particolar modo, il cardinale Carlo Agostino Fabroni organizzò le piantagioni di frutteti, le sistemazioni dei poderi e il riordino del sistema delle acque con la costruzione di vasche, ninfei e fonti. La facciata è caratterizzata da un grande frontone barocco con orologio che ricorda l'analoga soluzione della villa di Bellavista. Alla seconda metà del Settecento risalgono i lavori per la nuova strada di accesso alla villa, che la tradizione vuole realizzata su progetto di Leonardo Ximenes. I giardini e il bosco furono disposti secondo schemi geometrici, tipicamente barocchi. Nel 1812 fu costruita una voliera alla "cinese" in mattoni e ferro. Tra il 1841 e il 1842, sul limite settentrionale del bosco, fu scavato un invaso rettangolare per la produzione del ghiaccio destinato alla ghiacciaia, costituita da un pozzo di forma tronco-conica in blocchi di pietra posati a secco, dotata di canale di drenaggio e pozzetto di raccolta delle acque di infiltrazione. L'acqua della ghiacciaia veniva utilizzata anche nella burraia, un piccolo edificio che ricorda le ghiacciaie della montagna pistoiese.

La trasformazione in parco romantico fu operata a metà del secolo XIX, sotto la direzione dell'architetto pistoiese Giovanni Gambini. Nel 1845 fu inaugurato il laghetto alla "cinese" in forme naturali, con un'isoletta posta su grotte per l'attracco di piccole barche, su cui fu costruito un tempietto in pietra in forme neoclassiche. Al laghetto si accedeva da un ponticello posto su un orrido roccioso con cascata. Nel 1848 iniziarono i lavori per un anfiteatro in forme naturali alla cui sommità fu posto il "Tempietto della Fonte" (oggi "Casetta del The") in stile neogotico. I risultati ottenuti da Gambini furono talmente notevoli che Niccolò Puccini lo chiamò per i lavori del lago della sua villa a Scornio.

Alla fine dell'Ottocento fu ristrutturata la limonaia nelle forme attuali e furono commissionati alla Fonderia Michelucci i cancelli per la villa e per la fattoria. Durante la Seconda Guerra Mondiale, la villa fu occupata da un comando militare tedesco e trasformata in ospedale, mentre nel parco fu scavato un bunker. Nel 1969 la proprietà di Celle fu acquistata dall'imprenditore Giuliano Gori che ne ha fatto il luogo di raccolta di opere d'arte contemporanea, costituendo la prima collezione di arte ambientale.