L'osservatorio astronomico di Marlia fu concepito da Maria Luisa di Borbone come il naturale completamento del Reale Liceo di Lucca. La duchessa si servì della consulenza dell'astronomo Francesco Saverio de Zach per individuare il sito adatto alla nuova specola e per l'acquisto degli strumenti.

La costruzione, iniziata nel 1819 su una collinetta all'interno del parco della Villa Reale di Marlia, fu affidata all'architetto Lorenzo Nottolini. A dirigere l'Osservatorio fu chiamato Jean-Louis Pons al quale fu affiancato, come aiuto, Michele Bertini. A causa del protrarsi dei lavori, nel dicembre del 1819 fu costruito nel parco della villa, in soli venti giorni, un provvisorio osservatorio di legno dal quale Pons poté compiere le osservazioni celesti. Noto come lo "chasseur de comètes", l'astronomo non smentì la sua fama nemmeno durante la breve permanenza nel Ducato di Lucca (dalla fine del 1819 alla fine del 1824), dove scoprì sei nuove comete.

La morte della duchessa e la successione del figlio Carlo Ludovico ebbero ripercussioni negative sulla vita dell'osservatorio. Nel 1824 il duca dispose la chiusura della piccola specola la cui costruzione, già in fase avanzata, rimase interrotta. A questa vicenda non fu estraneo Ascanio Mansi, Segretario di Stato, come risulta da una lettera che egli inviò a Carlo Ludovico: «... Io mi astengo intanto dall'antiporre alle considerazioni dell'A.V.R., veruna proposizione sintanto che non mi sieno note le sue idee, ma non posso dispensarmi dall'osservarle che fra le riforme da farsi, potrebbe annoverarsi in primo luogo quella dell'astronomia residente presso la R. Villa di Marlia, che riceve dal R. Liceo l'annuo trattamento di L. 4000 senza che l'opera sua serva nella ben minima parte al pubblico bene, e all'incremento delle scienze del Liceo, e che oltre a ciò è anche di qualche peso al Tesoro per le frequenti somme che è tenuto a corrispondergli per la scoperta di comete senza veruna pubblica utilità...». Pons, costretto ad abbandonare Lucca, andò a dirigere la Specola di Firenze su invito del Granduca di Toscana Leopoldo II.

Oggi la Specola, pur mantenendo l'originario ed elegante aspetto architettonico, ha perso la sua connotazione astronomica ed è una residenza privata esterna al parco della Villa Reale, notevolmente ridimensionato rispetto all'assetto originario.