A vila é uma povoação muito antiga com referências históricas que datam da Idade Média. O rio, e várias linhas de água que aí vão desaguar, criaram os aluviões que possibilitam o cultivo de hortícolas, milho, batatas e oliveiras, muitas vezes com recurso a socalcos. O povoamento fez-se ao longo de uma crista sobranceira ao rio. Aqui, como noutros locais ribeirinhos, o Zêzere foi a estrada natural para o escoamento da madeira de pinheiro, espécie desde há muito dominante no coberto florestal da região e um dos seus principais recursos.

Porém a alavanca principal para o desenvolvimento de Silvares no século XX foi a mineração no Couto Mineiro da Panasqueira, pois a poucos quilómetros da vila, no Cabeço do Pião, foi instalado o complexo de lavarias que, através de um teleférico, assegurava o tratamento do minério proveniente da Barroca Grande. Associado a esta estrutura, e às suas necessidades de mão-de-obra e manutenção, foi construído um bairro operário e diversos armazéns.