Tra il 1634 e il 1635, la contessa Felice Cenami affidò all'urbinate Muzio Oddi, "ingegnere alle fortificazioni" della Repubblica Lucchese, i lavori di ristrutturazione dell'edificio cinquecentesco compreso nella proprietà che i Cenami acquistarono nel 1599 da Nicolao Benedetti. Nel 1675 la villa fu acquistata dai Mansi, ai quali si deve una seconda fase di lavori al palazzo. L'architetto abate Giovan Francesco Giusti fu, infatti, incaricato, nel 1742, di modificare la parte superiore della facciata chiudendone la loggia e arricchendola di statue. Da segnalare la decorazione pittorica del salone, commissionata sul finire del Settecento da Luigi Mansi a Stefano Tofanelli, massimo interprete del neoclassicismo lucchese.

La villa è circondata da uno splendido giardino, risultato di varie modifiche succedutesi nel corso dei secoli. Originariamente presentava nella parte a ovest un impianto rinascimentale con viali rettilinei, con aree adibite a orti, pomario, frutteti e bosco, con un giardino di limoni e con un ninfeo a pianta ottagonale. La parte a est, sistemata nella seconda metà del secolo XVII, era caratterizzata da una serie di viali a stella che si incontravano in un grande spazio centrale dominato dalla grande peschiera mistilinea. Un piccolo giardino chiuso di fiori, arricchito da fontane e statue, fungeva da elemento di raccordo tra il bosco, l'area della peschiera e la parte a ovest. Il parco fu risistemato tra il 1725 e il 1732 per volere di Ottavio Guido Mansi che ne affidò il progetto all'architetto messinese Filippo Juvarra. L'intervento dello Juvarra suddivise il giardino in quattro spazi trapezoidali (l'area ad ovest con vasche e parterre, il prato davanti la villa, l'area a est con la peschiera e il ninfeo di tufo, noto come Bagno di Diana, e la zona delle pertinenze con la scuderia), sostituì i dislivelli con pendii più dolci e riordinò la sistemazione idraulica. L'impianto che ne derivò era ricco di effetti scenografici dovuti alla forma trapezoidale che permetteva di dilatare prospetticamente lo spazio. Ai primi dell'Ottocento, nel giardino di villa Mansi furono introdotti alcuni elementi della tipologia all'inglese che in parte alterarono l'impianto barocco dello Juvarra. In questo periodo furono introdotte nuove specie arboree quali l'albero del tulipano, il cedro dell'Atlante, l'abete rosso, oggi diventati alberi maestosi. Nella parte ovest è presente un camelieto con alcune specie rare, mentre nel lato est un vialetto di palme e un boschetto di bambù conferiscono una nota esotica alla sistemazione. Delle specie vegetali risalenti all'impianto secentesco si possono ancora ammirare alcuni notevoli esemplari di querce e tassi, oltre a tratti di siepi di alloro e di bosso.