Le village de Rousset trouve son origine dans la fondation d'un prieuré et dans l'installation d'un château féodal du 14e et 15e siècles dominant le bourg à l'Est.

Perché et adossé à la montagne, Rousset-les-Vignes faisait partie de ces villages fortifiés qui, du Pègue à Venterol, surveillaient la plaine de Valréas et l'ancienne route de piémont. L'ensemble était protégé d'un rempart flanqué de tours de plan semi-circulaire dont certaines sont encore en place aujourd'hui.

Les façades Renaissance du château et du prieuré témoignent de l'importance et de la prospérité de la commune à cette époque. A l'intérieur de l'enceinte, le parcellaire s'organise en îlots plus ou moins réguliers séparés par d'étroites ruelles. Les maisons, dont certaines sont médiévales ou Renaissance, participent au charme du lieu.

A l’abri des vues, la chapelle Notre-Dame-de-Beauvert, perchée sur la colline Charbonnel, veille discrètement sur le village.