L'any 1462 amb motiu de la guerra dels remences, el castell fou incendiat i el 1879 una explosió accidental va acabar d'enderrocar la fortalesa. El nucli primitiu de Fanals era Fanals d'Amunt, una agrupació de cases situades a la muntanya de Treumal. A partir del segle XVI el poblament es va anar traslladant cap a la vall a mida que va desapareixent el perill de les incursions dels pirates, erigint-se la nova església de Santa Maria, el s.XVIII, i formant el poble de Fanals d'Aro.

La vila, poc a poc, es va anar escampant cap a la costa, construint masies durant els s.XVII i XVIII i conformant la barriada de Platja d'Aro.