Frutto dell’unificazione di due complessi preesistenti, posseduti dalla famiglia Guicciardini già alla metà del XIV secolo, il palazzo deve gran parte del suo aspetto attuale all’opera dell’architetto Gherardo Silvani che, tra il 1620 e il 1625, unificò le facciate e i cortili, creando al contempo nuovi ambienti di rappresentanza. Nella prima metà dell’Ottocento l’edificio perse, purtroppo, alcuni degli elementi cinque-seicenteschi che lo caratterizzavano a causa dei rimaneggiamenti avvenuti in seguito alla risistemazione di Piazza Pitti. Dell’originario arredo si segnala, in particolare, un interessante stucco quattrocentesco raffigurante Ercole e Caco, probabile derivazione di un'opera perduta di Antonio del Pollaiolo.

Oltre il cortile si accede ad un piccolo parterre la cui originaria struttura, "all’italiana" con siepi di bosso e agrumi piantati a boschetto, venne modificata nell’Ottocento con accorgimenti tipici dei giardini "all’inglese", in cui elementi naturali e artificiali (collinette, alberi d’alto fusto) si confondevano a creare una armonica visione d’insieme. L’attuale impianto, risalente al 1922, crea con le sue aiuole e i suoi vialetti una serie di angolazioni prospettiche culminanti in una montagnola con la statua di Venere. Tra le curiosità si segnalano, sul muro di confine, numerose iscrizioni e lapidi in pietra e la presenza di una fonte antica, ivi ricomposta nel 1845.