L'edificio fu costruito nel 1574 da Bernardo Buontalenti per il Granduca Francesco I de' Medici in una zona allora prossima alla campagna, all'interno della distesa dei giardini medicei. Progettato come laboratorio destinato alla sperimentazione scientifica, nel 1588 accolse nei suoi ambienti l'Opificio delle Pietre Dure. Nel 1587, alla morte del Granduca Francesco I, il palazzo fu ereditato da don Antonio de' Medici, che vi si trasferì nel 1597, commissionando numerosi lavori di abbellimento delle sale e del giardino, dove furono posti gruppi marmorei del Giambologna.

Nei locali del palazzo don Antonio realizzò un perfetto gabinetto di ricerca, denominato Fonderia, che divenne un vero centro di sperimentazione, intorno al quale riunì diversi studiosi interessati alle analisi chimiche e dove costituì una ricca biblioteca chimico-alchemica, in cui raccolse alcuni ricettari manoscritti, oggi conservati nella Biblioteca Nazionale.

Attualmente è sede della Corte d'Assise e d'Appello e non è rimasta testimonianza dell'attività scientifica che vi si è svolta nel corso della sua storia.