Di proprietą della famiglia Ricasoli, il castello di Brolio, di origine altomedievale, deriva il suo nome dal termine longobardo brolo (spazio verde chiuso). Nella seconda metą del XV secolo il castello fu trasformato su progetto di Giuliano da Sangallo in una possente costruzione a pianta poligonale irregolare con cinque bastioni e torre di vedetta. Persa la funzione militare, fu poi trasformato in residenza signorile. Nel 1835, per volere del barone Bettino Ricasoli, nel complesso fortificato fu realizzato un palazzo progettato dall'architetto Pietro Marchetti.

La sistemazione delle aree a verde, dovuta al botanico Simone Ricasoli, č costituita da due zone risalenti a periodi diversi. Il giardino all'italiana del secolo XVI č caratterizzato da vialetti e siepi di bosso, mentre il parco romantico del secolo XIX, disposto intorno al castello, presenta varie essenze botaniche provenienti da diverse parti del mondo e fatte piantare dallo stesso Ricasoli. Particolarmente interessanti sono alcuni esemplari monumentali di abete che oggi hanno un'altezza di 30-40 metri.