El precedent immediat de la Pobla de Segur és la població del Puig de Segur o el Puig de Sant Miquel, situada a l'esquerra del Flamicell, davant de Toralla, despoblada ja vers el segle XV.

La fundació, probablement al segle XIII, de la vila, en un lloc més apte per als conreus i més ben comunicat feu que Segur anés decadint.

El domini dels poderosos vescomtes de Vilamur sobre el terme va motivar que ja el 1315 el vescomte Pere VI de Vilamur obtingués la concessió del mercat per a la Pobla de Segur. El mateix comte va otorgar la carta de població a la vila el 31 de gener de 1336.

El vescomtat de Vilamur, i amb aquest el domini del terme, no restà vinculat a la línia dels Cardona-Anglesola, sinó a la branca principal del poderós llinatge dels Cardona, que a partir de Joan Ramon Folc de Cardona i d'Urgell, que va conquerir el Pallars a la fi del segle XV, ostentà els títols dels marquesos de Pallars, ducs de Cardona i vescomtes de Vilamur, entre altres, i que, entroncats amb la casa castellana dels ducs de Medinaceli, mantingueren la senyoria del lloc fins a la fi de l'Antic Règim.