Il sistema difensivo di Porte Ercole, che dal 1557 entrò a far parte, insieme a Orbetello, Porto Santo Stefano, Talamone, Monte Argentario e, in seguito, Porto Longone, dello Stato dei Presìdi, è caratterizzato da tre elementi principali: la Rocca, Forte Filippo e Forte Stella.

La Rocca, costruita nel Quattrocento, su progetto del Vecchietta, inglobando alcuni edifici duecenteschi, fu modificata nel secolo XVI sotto la direzione di Anton Maria Lari e di Baldassarre Lanci. La cinta muraria che scende verso il mare collega, attraverso un cunicolo, la Rocca al bastione Santa Barbara, costruito sul porto, insieme al forte Santa Caterina (oggi privato), per rafforzare il sistema difensivo.

Forte Filippo (anch'esso privato), edificato nel 1558 su progetto di Giovanni Camerini, presenta una forma quadrangolare allungata con imponenti bastioni agli angoli ed è circondato da un profondo fossato. Aveva come unico punto di accesso un ponte levatoio sul lato est e con le sue batterie di cannoni costituiva, insieme ai tiri radenti e precisi della Batteria di Santa Caterina, un importante baluardo difensivo.

Forte Stella, costruito nella seconda metà del secolo XVII e musealizzato dal 1999, presenta una forma originale: il nucleo centrale, circondato da una cinta muraria quadrilatera con bastioni agli angoli, ha pianta a forma di stella a sei punte (da cui deriva il nome). Anch'esso era circondato da un fossato ed era dotato di un unico punto di accesso.