Il palazzo, costruito tra il 1565 e il 1577 su progetto di Bartolomeo Ammannati, presenta un originale cortile che immette nel giardino retrostante. Nel secolo XVI venne costruita una grotta decorata con figure e ciottoli sovrastata da una galleria. Nella galleria vi era anche un "Oriolo quale ha 17 campane di differenti voci, con le quali e con iterati colpi suona una sinfonia". Il giardino viene così descritto nella guida del Bocchi: «Oltra'l cortile un Giardino con spalliere d'aranci, e limoni, ed una fontana, che risponde al diritto della porta principale rallegrano nobilmente il Palazzo, e di somma vaghezza il riempiono».

Il palazzo ospita il Lyceum Club Internazionale, il più antico circolo femminile fiorentino a differenziarsi dal salotto di una casa privata. Nato nel 1908 dopo l'apertura delle sedi di Londra, Parigi e berlino, si è trasformato, nel 1998, da circolo privato in associazione culturale senza scopo di lucro.