Il complesso della Fortezza, situato sul luogo dell'antica acropoli, costituisce uno degli esempi più felici dell'architettura militare rinascimentale. La Fortezza è composta da due corpi, la Rocca Vecchia e la Rocca Nuova, uniti tra loro da lunghe cortine a beccatelli. La Rocca Vecchia fu fatta costruire nel 1342 dal duca d'Atene Gualtieri di Brenne, all'epoca governatore di Firenze. Fatta restaurare da Lorenzo il Magnifico, presenta una pianta trapezoidale con al centro una torre semiellittica, detta la Femmina. La Rocca Nuova, fatta costruire da Lorenzo tra il 1472 e il 1475, presenta una pianta quadrata con quattro torrioni circolari agli angoli e uno centrale detto il Maschio. Le due rocche svolgono ancora oggi la funzione di carcere che da sempre hanno avuto.