Piazzaforte a lungo contesa tra fiorentini e senesi cadde sotto il dominio dei primi a metà del '300 quando la sua potenza economica era al culmine. La città è inoltre famosa per aver dato i natali, nel 1240, ad Arnolfo di Cambio, al quale è stata in seguito dedicata la piazza principale.
Pur in presenza di numerosi e importanti ritrovamenti archeologici risalenti anche al IV millennio a.C., i primi documenti che testimoniano di Colle di Val d'Elsa, risalgono al X secolo, ma solo successivamente la città acquista la propria identità. Numerose sono comunque le testimonianze della zona risalenti all'epoca etrusca, come le necropoli di Dometaia e de Le Ville.
La storia e l'identità di Colle di Val d'Elsa, nascono e si sviluppano, unitamente a quella delle altre località della Valdelsa , all'ombra di signorie sia ecclesiastiche che civili. Non va dimenticato che in questa zona passavano la Via Francigena portando un notevole traffico di merci e uomini e, quindi, un reddito sicuro.