Eretto per volere di Federigo II di Svevia attorno alla metą del secolo XIII, il Castello dell'Imperatore, noto anche come Fortezza di Santa Barbara o Castello Svevo, costituisce un esempio unico nel suo genere in Italia centro-settentrionale. La rigorosa pianta geometrica dell'edificio e la tecnica costruttiva in blocchi di alberese accuratamente squadrati richiamano esempi dell'architettura militare sveva dell'Italia meridionale. A conferma di questo, le fonti ricordano che l'architetto, il siciliano Riccardo da Lentini, fece giungere dalla Puglia le maestranze necessarie all'edificazione del maniero. Il castello, concepito come sede del Vicario imperiale in Toscana non fu mai completato al suo interno. Alcuni capitelli scolpiti sul paramento interno delle mura sono l'unica testimonianza degli edifici che avrebbero dovuto essere eretti nel cortile quadrato del complesso. Da notare l'accurata disposizione delle feritoie concepite per garantire agli arcieri e ai balestrieri la possibilitą di un tiro sia frontale che laterale. Unica concessione alle tradizioni architettoniche locali č il portale d'accesso, scandito da una bicromia di marmo verde e bianco, tipica del romanico toscano.