A l'època medieval arribaren les restriccions. Allò que havia estat els banys termals dels romans van ser prohibits i en el seu lloc es va aixecar un castell. Com a tota vila medieval aquesta també estava emmurallada, encara actualment es conserva parts d'aquesta muralla al Puig de Sant Grau, uns llenços de paret i tres torres circulars. Anys més tard els banys s'utilitzaren com a hospital per activitats curatives.

Degut al creixement durant el segle XVII les activitats agràries i artesanals van anar prenent importància. A partir d'aquest moment la vila esdevé una població rural amb aigua termal però sense explotació ni pràcticament cap més utilització de l'aigua, que la d'ús personal.

És a la segona meitat del segle XIX quan Caldes es converteix en vila balneària. L'any 1840 es construeix el primer establiment de banys modern. A partir d'aquest moment i amb la construcció de grans balnearis la vila es consolidà com a poble d'estiueig i començà a funcionar entorn a l'activitat balneària.