In origine il palazzo, costruito nel secolo XV, possedeva un piccolo giardino e un ampio orto coltivato. Secondo quanto tramandato da Giorgio Vasari, la nuova sistemazione del palazzo fu realizzata su progetto di Raffaello Sanzio intorno al 1514 per il vescovo Giannozzo Pandolfini. Il giardino fu arricchito con statue, fontane, giochi d'acqua e numerose varietà di fiori e piante. Si trattava di un giardino all'italiana articolato in due settori. Il più grande, diviso in quattro aiuole, presentava, attorno ad una piccola collina artificiale, fiori, agrumi ed una ragnaia di lecci e alloro. Il settore più piccolo, che prospettava su via San Gallo, aveva, invece, al centro una vasca circondata da aiuole geometriche e, a seguire, viti e alberi da frutto.

Nella prima metà del secolo XIX, Eleonora Pandolfini diede al giardino una sistemazione all'inglese e fece costruire una serra dove riporre in inverno le piante ornamentali. Dal 1870 al 1885 Alessio Pandolfini ristrutturò il palazzo, mentre la moglie Sofronia Stibbert recuperò l'antico splendore del giardino, che divenne famoso per le sue belle collezioni di camelie e di cinerarie. Alcune rarità botaniche coltivate da Sofronia Stibbert furono, inoltre, premiate alla fine dell'Ottocento dalla Società Botanica dell'orticultura.

Nel corso del secolo XX sono stati realizzati ulteriori interventi di restauro; l'ultima modifica è stata la costruzione di una serra per le orchidee.