Un jeton pour les refuser tous
Quatre entreprises de la tech souhaitent ajouter une ligne dans le fichier robots.txt pour que les données des sites concernés ne soient pas utilisées dans l’entrainement des IA. S’agissant d’une démarche déclarative, ses limites sont claires.
Le 30 octobre, Google, Microsoft, Anthropic et OpenAI ont annoncé qu’ils respecteraient une même ligne dans le fichier robots.txt pour refuser ou accepter l’utilisation d’un site à des fins d’entraînement de l’IA générative.
Le texte qui la définit est intitulé « Machine-Readable Training Preference Signal » et a été écrit par Kevin Kelley, ingénieur chez Anthropic. Il vise la normalisation par l’IETF, l’organisme qui fixe les standards techniques d’Internet, et doit expirer le 3 mai 2027 si aucune nouvelle version n’est publiée d’ici là.
Une simple ligne ?
La proposition cherche à simplifier une situation. Actuellement, un éditeur souhaitant en effet refuser l’entrainement sur ses données doit viser chaque robot séparément. Par exemple, GPTBot chez OpenAI ou Google-Extended chez Google. Le texte ajoute un nouveau jeton, « __usage_ai-training », qui doit permettre d’exprimer une seule préférence auprès de tous les fournisseurs qui s’y engagent.
Ce jeton se place dans la ligne User-Agent, comme on le fait déjà avec les noms des robots. Un Disallow exprime un refus de l’entraînement, un Allow un accord, chemin par chemin. Le texte illustre le fonctionnement par le code suivant, qui refuse l’entraînement sur tout le site, sauf pour un espace presse :
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/La date de support diffère d’un éditeur à un autre, mais tous s’engagent à respecter le nouveau signal dans les prochains mois.
Des limites évidentes
Il y a évidemment des limites. D’une part, le jeton ne bloque pas l’exploration. Le brouillon le décrit comme indépendant des règles visant les robots, qui continuent donc de s’appliquer comme avant. D’autre part, il est déclaratif et ne lie que les fournisseurs qui s’y engagent. De plus, il ne concerne que les contenus récupérés après son ajout, et ne retire ainsi rien des modèles déjà entraînés.
Surtout, l’engagement repose sur la seule parole des fournisseurs. OpenAI le présente comme une démarche volontaire (OpenAI), et le brouillon ne prévoit aucun contrôle ni sanction. Un éditeur n’a aucun moyen de vérifier qu’un contenu refusé n’a pas servi à entraîner un modèle. Le robots.txt lui-même, à l’origine, n’a d’ailleurs aucune valeur contraignante.
Enfin, le jeton ne lie pas non plus les entreprises qui ne s’y sont pas engagées. Apple, Amazon ou encore Meta ne s’y sont pas engagées. Rien n’oblige par ailleurs les autres développeurs de modèles à lire ce jeton, pas plus que les robots qui ignorent déjà le robots.txt.
