Fondata ufficialmente il 15 maggio 1735 per volontà di Giovanni Girolamo de' Pazzi, la Società Colombaria Fiorentina si propose di coltivare gli studi storici, filologici e scientifici, cercando di abbracciare tutte insieme le varie discipline secondo una visione "enciclopedica". Fin dalla fondazione, i soci definirono se stessi e i luoghi che frequentavano con nomi tratti dalla vita dei colombi: la torretta, che in origine era una delle antiche torri della famiglia Pazzi, fu detta "Colombaia", la stanza al pian terreno che il Pazzi metteva a disposizione "Covo"; le case dei "colombi", dove spesso si tenevano le adunanze, furono dette "Posatoi". Inoltre, ogni membro della Società si attribuiva un nome tratto dalle qualità dei colombi: Giovanni Girolamo de' Pazzi era il Torraiolo, Bindo Simone Peruzzi il Domestico e così via. Ad ogni socio veniva rilasciato un diploma di nomina. Tali consuetudini furono abbandonate nel 1834.

Formata inizialmente da soli sedici membri, la Società crebbe rapidamente, dotandosi di un museo e di una biblioteca. Verso la metà del Settecento, nonostante fosse diminuita l'attività accademica, furono istituite due "colonie" colombarie, una a Palermo e una a Livorno. Agli inizi del secolo XIX la Società si dette un nuovo assetto ed iniziò un programma di ricerche archeologiche e storiche. Attualmente essa svolge e promuove studi e ricerche a carattere scientifico e umanistico.