Nel 1548 Cosimo I de' Medici promosse, sui resti della Fabricia romana e della Ferraia medievale (cosiddetta per essere un importante scalo delle miniere di ferro dell'isola), la fondazione di Portoferraio, segnando così un momento significativo per la realizzazione dello Stato regionale. "Cosmopolis", come talvolta fu indicata la "città di Cosimo", o "Cosmo", dal gioco allusivo che il duca alimentò sul suo nome, rappresentò un riferimento nella trattatistica dedicata ai criteri di costruzione delle città. Fu infatti considerata un eccellente esempio di città-fortezza nella Cosmografia Universalis del geografo Sebastiano Münster. In una lettera al Viceré di Napoli, datata 16 aprile 1548, Cosimo sottolinea il carattere militare e strategico del porto: «Il porto dell'Elva... è di tale importanza, se fosse occupato da chi desidera perturbare le cose d'Italia che trarrebbe la via più facile di poter far ciò che volesse perché quel sito è forte per natura; il porto capace di ogni grande armata e il luogo è vicino a più luoghi dove si potrebbe far danno» (Archivio Storico di Firenze, Archivio Mediceo del Principato, Filza 11, c. 52). Situato dietro un promontorio, il porto è dotato di una profonda insenatura e di una darsena naturale, difesa da inespugnabili fortificazioni realizzate, alla metà del Cinquecento, dagli architetti militari Giovan Battista Belluzzi e Giovanni Camerini. Il sistema difensivo si componeva di un Fronte di Attacco verso ovest e di tre piazzaforti principali (Forte Falcone, Forte Stella e Fortezza della Linguella) collegate tra loro da un insieme di bastioni e di camminamenti tale da circondare l'intera superficie della città vecchia, un tempo separata da resto dell'isola da un fossato artificiale. La torre ottagonale della Linguella, costruita all'imboccatura della darsena, è oggi sede del locale Museo Archeologico mentre Forte Stella ospita uno dei più antichi fari d'Europa, voluto nel 1788 dal Granduca Leopoldo di Lorena.

Il porto svolse un ruolo di primo piano anche per le attività estrattive dell'isola, costituendo uno degli approdi più importanti della Toscana per il commercio e il trasporto del ferro dalle miniere elbane agli stabilimenti di lavorazione di Follonica. Inoltre, all'interno della rada del porto, furono realizzate nel periodo lorenese numerose saline che garantivano una delle più importanti attività produttive del Granducato. Nel 1829 il chimico G.B. Pandolfini-Barbieri ottenne da queste acque saline una quantità di solfato di magnesio identico al Sale di Epsom o sale inglese.

Ancora oggi è possibile ammirare la darsena medicea e gli straordinari apparati difensivi che costituiscono un rarissimo esempio di fortificazione marittima cinquecentesca.

Sul promontorio che delimita a sud-est il Golfo di Portoferraio sorgono i resti di un'antica villa romana databile tra il I secolo a.C e il I d.C. Parzialmente distrutta per far posto a batterie di artiglieria durante gli scontri protrattisi dal 1799 al 1801 tra Francia e Regno di Napoli, la villa offre ancor oggi forte motivo di attrazione , anche in ragione della spettacolare quinta scenografica che le fa da sfondo. Le strutture rimaste rivelano un impianto originario in opus reticulatum (blocchetti di tufo piramidali inseriti in un nucleo di opera cementizia e disposti con la base verso l'esterno in modo da formare un reticolo) di grande impatto visivo grazie all'alternanza di tegole di colore rosso a cubilia in calcare grigio e in ofioliti verdi.

Costruito in parte su sostruzioni artificiali, il nucleo abitativo della villa si sviluppava lungo un asse centrale costituito da una grande vasca di forma rettangolare. La piscina, che riceveva acqua da una cisterna posta in alto, era delimitata su tre lati da un ampio spazio che doveva essere sistemato a giardino. È ancora ben conservato il condotto che, attraversando la vasca nel senso della lunghezza, si protrae fino alla terrazza sottostante dotata di ninfeo. Un piccolo molo in granito rinvenuto nell'insenatura del promontorio doveva servire da attracco a chi giungeva alla villa via mare.

Risalgono ad un periodo successivo i resti di un quartiere termale provvisto di frigidarium e calidarium. Quest'ultimo, dotato di doppia pavimentazione e suspensurae (pilastrini in cotto che sorreggevano il pavimento per permettere all'aria calda di circolarvi sotto), secondo i dati di scavo, presentava al centro un bacile marmoreo per abluzioni fredde sorretto da un pilastrino.

Il Giardino dell'Ottone nacque nel 1910 su iniziativa di Giuseppe Garbari, un ricco possidente trentino, che acquistò un ampio terreno per coltivarvi specie esotiche. Il terreno, distante circa 400 metri dal mare, è in prossimità del Giardino dell'Ottonella di Giorgio Roster. Fu probabilmente lo stesso Roster che convinse l'amico a creare un nuovo giardino di acclimatazione. Nel 1913 erano già presenti all'Ottone 36 specie diverse di palme. Alla morte di Roster (17 gennaio 1927), Garbari vendette il giardino. I proprietari succedutisi nel tempo ne hanno sostanzialmente rispettato l'impianto originario.

Restaurato negli anni 1986-1987, il giardino si presenta suddiviso in 8 settori, nel rispetto della disposizione del primitivo impianto. Occupa una superficie di circa 2 ettari e per ogni pianta è stata predisposta un'apposita scheda. Con le sue piante esotiche e i rari palmizi, l'Ottone è oggi il migliore giardino privato di acclimatazione presente in Toscana.

L'Orto dei Semplici Elbano è inserito in un ambiente di notevole pregio naturalistico e situato a fianco dell'Eremo di Santa Caterina, antico luogo di meditazione e di preghiera risalente probabilmente al periodo romanico, ma ampiamente rimaneggiato nel 1634. Istituito nel 1997 per iniziativa dello scrittore e fotografo Hans Georg Berger, con la collaborazione di Gabriella Corsi e Fabio Garbari dell'Università di Pisa, l'Orto si propone di studiare la biodiversità della flora dell'arcipelago toscano. Le varie specie sono identificate da cartellini che offrono dettagliate informazioni sulle loro caratteristiche e sull'impiego, in medicina e nell'alimentazione, praticato dalle popolazioni locali. Il Dipartimento di Scienze Botaniche dell'Università pisana collabora con l'Orto per incrementare la raccolta di piante autoctone.

«L'isola d'Elba a buon diritto appellare si potrebbe il più dovizioso gabinetto mineralogico della Toscana. È questo il sito dove sembra che la natura abbia voluto riunire in un piccolo diametro sorprendenti fenomeni, e tali da richiamarvi costantemente i di lei cultori spinti e allettati... ancora dalla ricchezza delle miniere, e delle preziose variate cristallizzazioni dei molti minerali che in quelle rocce si aggruppano e in belle forme si accoppiano»: così si esprimeva Emanuele Repetti nel suo Dizionario Geografico Fisico Storico Della Toscana.

Dalla miniera di ferro di Rio nell'Elba, dove è presente il filone più consistente dell'intera isola, a quella di Rio Marina, dalla miniera di Rio Terranera a quella di Punta Calamita di Capoliveri, le cave dell'Elba sono ricche di ferro e di altri minerali, nonché di grandi quantità di magnetite, ma anche di marmo e di granito.

I Musei dedicati alla mineralogia e all'attività estrattiva sparsi sul territorio propongono molti esemplari di pietre dell'isola, conservano carteggi esclusivi, presentano materiale fotografico di cantieri dell'inizio del secolo. Negli anni Ottanta del Novecento, la cessazione delle attività estrattive ha dato inizio alla lenta riconversione delle zone minerarie alla fruizione turistica, mantenendo tuttavia inalterate molte peculiarità del territorio. Storia, cultura e tradizione si integrano perfettamente nella proposta che il Parco Minerario dell'isola d'Elba offre ai suoi visitatori.

Nel 2001 è stato fondato il Museo dei Minerali dell'Elba e dell'Arte Mineraria, elemento integrante del Parco. Collocato nel settecentesco Palazzo del Burò, ex sede della Direzione delle Miniere, il Museo presenta campioni di minerali elbani, inseriti in un ambiente che ricrea l'officina dei fabbri ferrai, con arnesi e materiali originali ritrovati nei cantieri estrattivi abbandonati, e una documentazione fotografica sulle vecchie miniere di Rio e Capoliveri. La Società Parco Minerario ha inoltre in gestione la Collezione Gennai Tonietti, in precedenza esposta nel Palazzo Comunale di Rio Marina. Si possono infine visitare le ricostruzioni a grandezza naturale di un riparo per minatori e di una galleria, realizzate con materiale recuperato nelle miniere abbandonate. Dal Museo partono in giorni e orari stabiliti visite guidate alla miniera a cielo aperto di Rio.

Edificata per volere di Filippo III di Spagna su disegno di don García di Toledo, rientrava nel sistema di controllo delle rotte navali dello Stato dei Presidi (fondato dagli Spagnoli nel 1557). La grandiosa fortezza di San Giacomo di Longone presenta un impianto stellare e domina una delle estremità del golfo di Mola, di fronte al mare su cui sorge Porto Azzurro (in origine Longone e dal 1863 al 1947 Porto Longone). La fortezza è oggi sede di un penitenziario e, dunque, non visitabile. Tuttavia, attorno ad una parte della Fortezza è stato realizzato uno spettacolare itinerario attrezzato che permette di apprezzarne l'imponente mole e, al tempo stesso, di godere la stupenda vista sul golfo. L'assetto difensivo del golfo di Mola è completato da Forte Focardo, una fortezza spagnola edificata nella seconda metà del Seicento nel lato opposto del golfo, in territorio di Capoliveri.

Nel 2002 il Comune di Capoliveri ha allestito un museo di minerali grazie alla collezione iniziata da Alfeo Ricci negli anni Trenta del Novecento e sviluppata dai suoi eredi, in precedenza ospitata a Rio Nell'Elba. Attraverso i molti campioni provenienti dalle zone minerarie a ferro dell'Elba orientale e dai filoni pegmatitici del Monte Capanne, alcuni dei quali particolarmente rari, l'allestimento documenta l'isola come una sorta di museo mineralogico all'aperto.