Le château fort est bâti dès le XIIe siècle par les barons de Beynac3 pour verrouiller la vallée. L'à-pic étant suffisant pour décourager toute escalade côté vallée, les défenses s'accumulèrent côté plateau : double enceinte crénelée, double douve dont l'une approfondissait un ravelin naturel, double barbacane.
La partie la plus ancienne du château est un gros donjon roman carré, vertigineux, aux rares percements, agrafé d'une bretèche et d'une échauguette, accosté d'une cage d'escalier en vis, mince comme un contrefort et terminé par une terrasse crénelée. D'un côté, un logis de la même époque lui est juxtaposé ; il a été retouché et agrandi aux XVIe et XVIIe siècles. De l'autre côté, c'est un logis en partie XIVe siècle, auquel sont accolés une cour et un escalier de plan carré desservant des appartements du XVIIe siècle.