Lors de la visite du château par Henri IV et sa cour itinérante, la propriétaire du château est alors Françoise De Seysses; la légende dit que sa nièce, d'une beauté éblouissante, fit la connaissance d'un écuyer prénommé Jean, celui-ci devint chevalier du roi et l'épousa !
En effet, c'est à partir de 1618, que Paule du Pins Montbrun et Jean De Polastron vont construire un château de plaisance constitué d'un corps primitif de 22 mètres de long sur une largeur de 11 mètres. Cet édifice est protégé par une toiture aiguë recouverte de plomb. Le corps de logis, en briquette rose rectangulaire, est flanqué de quatre tours d'angles épaisses, circulaires de 22 mètres de circonférence avec meurtrières pour faire "feux brisés" sur l'ennemi. Les tours couronnées de créneaux et de merlons sont surmontées de flèches polygonales. Une tour de ronde permet une excellent visibilité sur les alentours. Le sous-sol vouté, réservé aux cuisines, occupait une surface de 20 m sur 9 m de large sur 5 m de hauteur au centre. Un donjon était situé au-dessus du perron actuel et une chapelle prolongeait le grand escalier d'honneur.
A la révolution, le domaine appartient toujours à la famille Polastron, qui restera propriétaire jusqu'en 1784. Par un mariage d'une Polastron avec un Hérisson, le château devient la propriété de la famille Hérisson.
Le donjon fut détruit ainsi que la chapelle. Si le toit primitif était recouvert de plomb, on ne sait pas quand il fut remplacé par des ardoises à cause du poids qu'aucune poutre ne pouvait plus supporter.
La famille de Pins Montbrun rachète la château en 1854 et elle ajoute en 1860 un bâtiment à la façade principale.