La Fortezza, edificata probabilmente intorno al 1560, dopo la costituzione dello Stato dei Presìdi (1557), costituisce un esempio ragguardevole di architettura militare spagnola. Posta sulla sommità di un colle a difesa del porto, presenta una pianta quadrata munita di barbacani che poggia su un basamento quadrato costituito da due terrazze coronate da una sequenza di caditoie. Sulla terrazza inferiore si possono ancora vedere i cerchi in pietra che facevano ruotare gli affusti dei cannoni ottocenteschi. Nel basamento si trovano magazzini, serbatoi e vani per la guarnigione. Attualmente all'interno della Fortezza sono allestite due sezioni espositive: una dedicata ai reperti di archeologia subacquea raccolti nei fondali dell'Argentario e dell'Isola del Giglio; l'altra documenta l'attività dei maestri d'ascia, cioè dei costruttori di navi.