Classificado como Imóvel de Interesse Público, localiza-se num cerro xistoso sobranceiro à vila, donde se desfruta de uma magnífica vista panorâmica, a nascente sobre a imensa várzea de Aljezur, sobre a zona da Igreja Nova e da Serra de Monchique e a poente sobre o Vale D. Sancho, onde outrora se cultivava arroz e por onde serpenteia a Ribeira de Aljezur até chegar ao mar, na Praia da Amoreira.

Edificado no século X pelos árabes, fez parte integrante do sistema defensivo de Silves, durante os séculos XII e XIII, tendo sido o último castelo islâmico a ser conquistado pelos cristãos no Algarve, em 1249, reinado de D. Afonso III, cuja conquista ficou a dever-se aos cavaleiros da Ordem de Santiago, comandados por D. Paio Peres Correia.