La polveriera Guzman, splendido esempio di architettura militare spagnola, fu costruita nel 1692 nell'ambito del sistema di fortificazioni che, insieme all'omonimo bastione, proteggeva la capitale dello Stato dei Preśdi. La struttura, dal tetto in pietra, fu dotata di quattro obelischi piazzati dinanzi alle finestre per proteggere il contenuto esplosivo da colpi di arma da fuoco. Qui Giuseppe Garibaldi, dopo aver attraccato a Talamone, venne a rifornirsi di armi e munizioni per la Spedizione dei Mille.

All'interno della polveriera trova sistemazione la collezione archeologica comunale, ricca di monili, bucchero e utensili in pietra, che coprono un arco cronologico dall'età villanoviana a quella romana. La raccolta è completata dai materiali provenienti dal territorio orbetellano. Di particolare interesse è, infine, la copiosa documentazione archeologica rinvenuta nella Villa di Settefinestre, splendido esempio di villa latifondistica di età tardo-repubblicana e imperiale, i cui grandiosi resti, visibili alcuni chilometri a sud di Capalbio, giacciono purtroppo nell'incuria.