Au 14ème siècle, la terre, de ce qui allait devenir un village groupé autour d'un moulin, était boisée et marécageuse.
En effet, on peut faire remonter le nom de Brax à "biais" ou à "brai", résine de pin venant de la forêt de Bouconne qui veut dire: collant, boueux. A noter qu'en vieux gaulois, "brac", "braca" veut dire bois.
Quoi qu'il en soit, l'importance de ce lieu n'avait pas échappé au puissant Seigneur de l'Isle Jourdain, car il jouxtait l'ancienne voie romaine de Toulouse à Auch, ni aux responsables de la cité de Toulouse qui recevaient d'importants droit de chasse, de péage et d'affouage en provenance du comte de l'Isle Jourdain.
En 1346, le Comte Jean de l'Isle Jourdain fit don au noble Arnaud Du Faya, du lieu dit Brax, lieu susceptible d'être fortifié, en remerciement pour avoir sauvé son père.
C'est le début de l'histoire de Brax et de son château.