Lors des deux saisons suivantes, Jérémy Mathieu joue 63 matchs et marque 6 buts. Après trois saisons avec Sochaux, Jérémy Mathieu signe avec Toulouse FC un contrat de quatre ans en 2005 (en même temps que son coéquipier Francileudo Santos). La saison 2007-2008 est mauvaise aussi bien pour Toulouse que pour Mathieu qui se fracture un os du pied et reste indisponible pendant plusieurs mois. Des démonstrations de gestes techniques de roller soccer sont organisées à chaque événement de la tournée, et un tournoi se déroule à San Francisco pendant les X Games. Classé à la troisième place du Ballon d’Or France Football 2023, devancé par Erling Haaland et son ancien coéquipier Lionel Messi, sacré pour la huitième fois de l’histoire, le Français est probablement frustré d’être passé si près du but. Lors de la saison 2006-2007 il participe activement à la troisième place du Toulouse FC qui se qualifie pour la Ligue des champions. Il joue son premier match de Ligue 1 lors de la saison 2002-2003 contre CS Sedan.