Già il nome lascia capire la posizione strategica del luogo,che si estende sulle pendici del Montalbano. Da qui certamente, già in epoca romana, passava la strada che congiungeva Lucca a Firenze, ed il castello dominava il passaggio forzato sulla Valdinievole. Solo però con il secolo XI è possibile avere riscontri storici attendibili che si riferiscono alle località di Casale, Castelnuovo e le chiese di Varazzano e Castellina.

Il castello di Serravalle però sembra assumere un particolare rilievo solo a partire dal secolo XII,quando, a causa della sua posizione strategica, sollecitò l'interesse di Pistoia.

Sono riconducibili a tale periodo la costruzione di una rocca, sul punto più elevato della collina, e della quale è pervenuta a noi solo la TORRE BARBAROSSA edificata appunto nel 1177 per volontà dei pistoiesi.

Tra il XII sec. e la prima metà del XIII, Serravalle conobbe un periodo di grande sviluppo, le cui vestigia lo rendono oggi uno dei più interessanti castelli medievali toscani.

Data la funzione militare del castello, Serravalle fu al centro di varie contese tra Lucca e Firenze. Subì l'assedio da parte dei lucchesi nel 1302 e fu munita di una nuova rocca - ROCCA DI CASTRUCCIO CASTRACANI - a presidio del valico. Il fortilizio fu portato a termine da Uguccione della Faggiola e , appunto, da Castruccio Castracani. Un'antica cisterna, per il rifornimento dell'acqua, è tutt'ora visibile al centro dell'area fortificata.

Anche Serravalle, alla morte del condottiero avvenuta del 1328, finì per essere sottomessa a Firenze.

Nel XII secolo Serravalle era munita di due porte di accesso: PORTA CASTELLINA e PORTA DI NIEVORE delle quali oggi non rimane traccia. La PORTA DI GABELLA, tutt'oggi esistente, risale infatti al XIV secolo. La chiesa di S. Stefano, risalente al XIII sec. conserva l’antica facciata romanica. La torre campanaria faceva parte del sistema difensivo del castello.