L'antico castello fu trasformato in residenza di campagna nel 1451 da Michelozzo su commissione di Cosimo il Vecchio. La nuova sontuosa villa, circondata da orti, giardini e da un vasto parco per la caccia, divenne residenza estiva prediletta dai Medici e dai loro ospiti. Le trasformazioni ottocentesche, volute dal principe Marcantonio Borghese, ne cancellarono in gran parte aspetto originario.

La villa è legata anche al mondo della tecnica. Accanto al castello, infatti, fu edificata la fabbrica delle celebri maioliche. Vi erano due fornaci, una destinata ad una produzione corrente e l'altra ad una di raffinata qualità. Impiantata alla fine del Quattrocento dai fratelli vasai Pietro di Filippo e Stefano, la fabbrica di maioliche di Cafaggiolo produsse autentici capolavori per tutto il Cinquecento, destinati sia alla famiglia granducale (vasi, brocche, coppe), sia a istituzioni cittadine, come l'Ospedale di Santa Maria Nuova di Firenze.