Il appartint notamment à Jean-Baptiste Laffitte (de la famille du célèbre banquier) puis en 1850 à Constant-André Say (de la famille Say qui s’allia plus tard aux Beghin), dont le père Louis avait participé, tout comme les Vilmorin, à la mise en valeur de la betterave sucrière, suite au blocus de l’époque napoléonienne.

Il fut racheté par Monsieur Couderc, notaire à Villefranche d’Aveyron pour sa fille religieuse qui voulait y créer un pensionnat de jeunes filles.

A partir de 1890, la congrégation de la Sainte Famille de Villefranche-de-Rouergue, y installa un pensionnat de jeunes filles qui dut quitter la place en 1905 en raison de la séparation des biens de l’Eglise et de l’Etat.

La propriété a alors été rachetée par le Comte Marc d’Estienne d’Orves, directeur de la maison Vilmorin, époux de Elisabeth Lévèque de Vilmorin. Elle abrita leur fils Honoré (1901-1941) et leur petit-neveu David Régnier (1925-1944), tous deux héros de la Résistance.

Une aile du château est toujours occupée par la famille Régnier, le reste de la propriété étant divisée en lots.

L’actuel parc Régnier et l’emplacement de la résidence « le clos de Verrières » faisaient partie intégrante du parc du château.

Les anciens communs du château furent remaniés pour y installer une fabrique de bougies, qui ne dura qu’un temps. Restaurés au XXe Siècle puis rénovés par la ville en 1995, ces bâtiments abritent maintenant des logements.