Saint-Jory fut sous la domination de très puissantes familles. Pas un personnage de la cour ne venait en Languedoc sans s’arrêter dans son magnifique château. En 1603, Henri IV érigea la châtellenie en baronnie. Un tel passé devait rester présent dans la mémoire des habitants de Saint-Jory.

Dans son remarquable ouvrage publié en 1922, Jean Contrasty propose l’histoire chronologique de la ville, depuis l’antiquité jusqu’en 1921. Avant 1222, Saint-Jory se trouvait sous la domination des comtes de Toulouse. Triste souvenir pour Saint-Jory au XIIe siècle, leurs vassaux, véritables brigands, pillèrent l’église.

Du XIIIe siècle, on pourrait retenir la prise de position d’Hugues, sénéchal de l’Agenais, pour les Albigeois : il défendit Toulouse et Pène d’Agenais, sous la conduite du comte de Lancastre, dévasta Saint-Jory en se rendant à Toulouse.

Le XVe siècle vit le début d’une série de luttes et de procès entre le village et la famille des Garrigia de Villeneuve. les villageois se révoltèrent contre Jean de Garrigia au XVe siècle, et ce n’est qu’au XIXe siècle que cesseront les procès...