Prende nome dal conte Fabrizio Rilli Orsini che, nel 1825, donò al Comune di Poppi la sua biblioteca, ricca di 9.000 volumi e 200 manoscritti, insieme all'edificio in cui era ospitata e ad una piccola rendita. Tra i manoscritti si segnala un Erbario anonimo del Seicento, composto da 323 campioni quasi esclusivamente di piante medicinali classificate sulla base dell'edizione del 1684 dell'Herbario nuovo di Castore Durante.

Accresciuta con importanti acquisti e donazioni, quali la biblioteca Soldani e i fondi provenienti dai monasteri soppressi, tra cui Camaldoli, nel 1911 la Rilliana fu trasferita nel medievale Castello dei Conti Guidi, luogo di scienza non soltanto per i documenti conservati nella sezione storica della biblioteca (carte nautiche, testi scientifici ecc.), ma anche per una serie di esperienze legate all'elettricità. Nel 1786, per volere del Granduca Pietro Leopoldo di Lorena, fu collocato in cima alla torre del Palazzo un conduttore elettrico, ossia uno dei primi parafulmini, che ebbe una specifica funzione sperimentale: fu fatto costruire con una doppia terminazione a palla e a punta, per verificare quale delle teorie sulla forma del parafulmine fosse giusta, se quella di Franklin o quella di Wilson. Alle osservazioni, controllate da appositi funzionari, furono interessati Felice Fontana e Giovanni Fabbroni. In realtà, erano già note le conclusioni di Coulomb che risolvevano, con attenta dimostrazione fisica, la disputa a favore della terminazione a cuspide.