La primera notícia de la vila la trobem l'any 789 quan es varen construïr una sèrie de fortificacions per tal d'assegurar la frontera de la reconquesta.

Tanmateix degut a la seva situació estratègica s'hi va construïr un castell que s'anomenà Castrum Serris, castell que donà nom al territori, el que avui en dia coneixem com a Casserres.

A causa dels efectes de la pesta negra el terme va quedar desert al segle XVI, i no va ser fins a finals d'aquest mateix segle quan es va edificar una nova església i la vila fou fortificada. A les acaballes de la Guerra dels Segadors aquesta muralla fou enderrocada quan van incendiar el territori delimitat. Poc a poc la represa es va iniciar però els miquelets la tornaren a cremar l'any 1713.