Fu edificato nel 1538 da Bartolommeo Panciatichi che vi inglobò almeno tre antichi edifici, tra cui l'abitazione appartenuta a Rinaldo degli Albizi, rivale di Cosimo il Vecchio. Verso la metà del secolo XVI, il senatore Baccio Valori, la cui famiglia era subentrata agli Albizi nella proprietà del palazzo, affidò l'ampliamento e il restauro della facciata a Giovanni Caccini. Il Valori definì il programma iconografico della decorazione della facciata, che volle ornata con quindici erme di personaggi illustri della cultura fiorentina. Tra i personaggi ricordati vi sono Marsilio Ficino, Amerigo Vespucci, Leon Battista Alberti, Francesco Guicciardini, Dante, Petrarca e Boccaccio. Questi ritratti furono chiamati i "Visacci", ovvero le brutte facce, da qui il nome al palazzo. I Visacci furono descritti nel 1604 dal figlio di Baccio. Il Valori, bibliotecario della Biblioteca Mediceo-Laurenziana e presidente dell'Accademia delle Arti del Disegno, fece di palazzo Altoviti uno dei centri propulsori della vita culturale fiorentina.