Il palazzo con l'annesso giardino fu costruito alla fine del secolo XV su una proprietà di Nannina de' Medici, sorella di Lorenzo il Magnifico, e del marito Bernardo Rucellai. Il complesso costituì un centro culturale di grande importanza avendo ospitato, dopo la cacciata dei Medici, le sedute dell'Accademia Platonica, alle cui riunioni nella villa di Careggi aveva partecipato lo stesso Rucellai. Il nome del giardino (noto anche come selva), Orti Oricellari, deriva da quello della famiglia Rucellai, un cui antenato aveva introdotto a Firenze l'erba rusca, usata per tingere di violetto la lana, che nella classificazione di Linneo è detta Oricella o Lichen Roccella.

Acquistati da Bianca Cappello nel 1573, gli Orti furono riportati all'antica bellezza diventando luogo di delizie e svago, ricchi di scherzi e giochi organizzati dai granduchi per gli ospiti. Alla metà del Seicento, il cardinale Giovan Carlo de' Medici si fece promotore della prima importante serie di lavori, creando un giardino con impianto all'italiana. Ispirandosi all’opera di Bernardo Buontalenti a Pratolino, si pensò di fare confluire nel giardino l’acqua proveniente da Boboli, sfruttando il sistema di canalizzazione presente lungo via Maggio e Ponte Santa Trinita, per alimentare la fontane progettate dallo scultore Antonio Novelli. Delle fontane la più grandiosa è quella a pianta quadrata raffigurante Polifemo che beve all’otre, realizzata in muratura intonacata con struttura in ferro, la stessa tecnica utilizzata dal Giambologna per la statua dell’Appennino a Pratolino. Il Novelli realizzò anche la Grotta degli Orti: inserita in una collina artificiale, presenta l'aspetto di una caverna decorata con spugne e arricchita da una serie di statue raffiguranti i venti.

Nella prima metà del secolo XIX, il nuovo proprietario, Giuseppe Stiozzi Ridolfi, volle trasformare il giardino affidandone il progetto a Luigi de Cambray Digny, che interpretò in modo suggestivo i dettami teorici del giardino romantico. La nuova sistemazione, caratterizzata da un asse centrale culminante nel tempio di Flora, e dalla presenza di percorsi sinuosi, collinette, piccoli laghetti, statue ed effetti di rovine, sottostava ad un preciso programma finalizzato, tramite l’uso di elementi simbolici, tratti sotterranei ed iscrizioni, alla creazione di un percorso iniziatico che portasse al Pantheon, destinato ad accogliere la memoria di illustri exempla virtutis. Nel 1832 Emilio Burci pubblicò una serie di incisioni raffiguranti gli Orti Oricellari, con vedute dell'abbazia di Sant'Anna, del tempietto di Venere, delle vestigia dell'antico tempio e del circo, del colosso di Polifemo e della grotta, del "giardino dei fiori", della fortezza, del "torrino" e del Pantheon.

Nel 1861 Giuseppe Poggi, incaricato dai nuovi proprietari di dare una diversa organizzazione al giardino, propose una sistemazione classicheggiante che prevedeva il ripristino della vasca con la statua di Polifemo. Durante i lavori per Firenze capitale, il giardino fu diviso in due parti dalla costruzione di via Rucellai. Altre divisioni e manomissioni si sono succedute nel tempo, ma hanno mantenuta intatta la fisionomia data dal Poggi. In particolare, è possibile ancora ammirare il Polifemo, la Grotta degli Orti (nella parte di proprietà della Cassa di Risparmio di Pisa) e la fortezza con il torrino.