Mentionné pour la première fois en 1259, le château des Vallons est alors la possession de plusieurs coseigneurs, dont les familles de Caumont et de Pis. Le château primitif sur motte, détenu par les Albret depuis 1390, est en ruine au sortir de la guerre de Cent Ans, après que la terre de Verteuil ait été donnée en 1460 à Aymeric de Caumont, seigneur de Lauzun. Les vestiges médiévaux sont constitués d’un escarpement rocheux retaillé et par endroit maçonné, formant une première enceinte d’environ 80 mètres de diamètre, contre laquelle les maisons du village s’appuient au nord. Dans la partie centrale, une courtine reliée à la tour nord-ouest, heptagonale et voûtée d’ogives, daterait du 15e siècle.

A l’est, J. Gardelles décrit un pan de mur d’une salle voûtée d’ogives retombant sur des culs-de-lampe sculptés, probablement de la fin du Moyen Âge. Le corps de logis principal, au sud-est – avec une aile ruinée en retour d’équerre au nord – a été construit à la fin du 16e siècle ou au début du 17e siècle, pour la famille de Caumont. Le corps ouest a été remanié vers 1839, date d’un devis établi par Sarrazi afin d’installer une école dans cette partie du château. Bâti en pierre de taille de tuf, il forme grossièrement un triangle, dont la base serait constituée par le corps de logis sud-est et le sommet par la tour nord-ouest. Le château des Vallons est partiellement classé Monument Historique.