Lo spedale di San Silvestro o di Dolce (dal nome del fondatore Dolce de' Mazzamuti) fu istituito alla fine del secolo XIII, insieme con le altre tre pił importanti strutture pratesi destinate all'assistenza e alla beneficenza in favore dei bisognosi: gli ospedali della Misericordia, del Ceppo Vecchio e del Ceppo Nuovo. Nello stesso periodo fu fondata al suo interno una spezieria destinata a seguire le vicende dell'Istituto stesso. Nella prima metą del secolo XVI, in seguito al saccheggio di Prato da parte delle truppe spagnole (1512) e ad una grave epidemia di peste (1526), l'ospedale e gli altri tre luoghi pii furono chiusi per ordine del Granduca Cosimo II de' Medici. Dopo molte vicende, l'ospedale fu riaperto nel giugno 1545 e unito a quello della Misericordia. In seguito l'istituzione accrebbe notevolmente il proprio patrimonio, incamerando i beni di altri istituti, alcuni dei quali molto importanti, come lo spedale di Altopascio. Nel 1783 il Granduca Pietro Leopoldo di Lorena vi unģ anche i beni del soppresso monastero di Santa Caterina. Nella prima metą dell'Ottocento veniva descritto da Emanuele Repetti come un luogo "situato in un angolo appartato della cittą in mezzo a spaziosi orti ed in tranquillo e ventilato soggiorno". Dal 1897 al 1933 avvenne la consegna graduale del patrimonio artistico dell'Ospedale al Comune di Prato, in parte conservato presso il Museo Civico.