Costruita su disegno di Antonio e Giuliano da Sangallo come ampliamento del fortilizio quadrato (conosciuto come "quadratura dei pisani") realizzato accanto al mastio di Matilde, la Fortezza Vecchia fu anche residenza livornese di Cosimo I de' Medici, che, nel 1544, vi fece costruire il Palazzotto sul bastione Canaviglia che domina l'ingresso del porto. Il duca di Firenze fece inoltre scavare una famosa cisterna, la cui acqua fu lodata da Francesco Redi.

Il 2 aprile 1662 la torre della Fortezza fu teatro delle osservazioni sul moto dei proiettili fatte dagli accademici del Cimento per confermare sperimentalmente le conclusioni di Galileo Galilei. Fra la fine del 1657 e gli inizi del 1658 la città labronica era già stata scena di alcune esperienze degli accademici del Cimento sugli "agghiacciamenti", cioè sul congelamento dei liquidi.

La Fortezza non fu solo un luogo di verifica sperimentale della fisica, ma anche luogo di "osservazione naturalistica". Nella sua Guida di Livorno, Piombanti racconta come nell'ottobre del 1734 una tempesta gettava ai piedi della Fortezza una balena, e di come l'evento si replicasse nel gennaio del 1753, quando due cetacei furono abbattuti a cannonate in prossimità del porto, dall'alto del bastione.