Originariamente appartenuto alla famiglia dei Sangallo, come riportato da Fantozzi nella sua Nuova guida di Firenze (1842), ed allora riccamente ornato da statue e dipinti di illustri artisti, il palazzo subì significativi cambiamenti nel rifacimento seicentesco operato da Gherardo Silvani per volere dell’allora nuovo proprietario Sebastiano di Tommaso Ximenes. Ulteriori modifiche furono apportate nel secolo successivo, con l’aggiunta nell’atrio di due belle scale simmetriche a fasce curvilinee degradanti, e nell’Ottocento, grazie all’intervento di Niccolò Matas a cui i fratelli Bandino e Leopoldo Panciatichi commissionarono l’ingrandimento dell’edificio. A quest’ultimo periodo risale anche l’impianto attuale del retrostante giardino, con grande aiuola centrale e vialetti di ghiaia, cui si accede tramite una corte con loggiato ricca di pregevoli opere scultoree. In questo giardino, alla metà del XIX secolo si poteva ammirare la più antica Sterculia della Toscana, piantata da un gentiluomo inglese alla fine del secolo precedente. Notevolmente ridotto per la costruzione di via Giusti, questo piccolo parterre conserva oggi una meridiana risalente al secolo scorso, copia di quella apposta sul tetto di una delle botteghe di Ponte Vecchio.