Recevez tous les soirs un résumé de l’actu importante avec Le Récap’
Il les surnomme les « creepy crawlies », comprenez les « bestioles » ou, plus littéralement, les « insectes rampants ». C’est d’ailleurs le titre que Konstantin Ryabitsev a donné à son billet, publié le 29 août 2026.
Dans ce texte, l’ingénieur qui maintient l’infrastructure technique du projet Linux démontre, chiffres à l’appui, la pression qu’exercent les scrapers IA sur kernel.org. Cette plateforme héberge les serveurs Git et l’ensemble des outils permettant aux développeurs du monde entier de collaborer sur le noyau et abrite notamment linux.git, le dépôt principal contenant l’historique complet du code de Linux.
Son constat : « Le rendu des commits destinés aux scrapers consomme plus de ressources CPU que tous les autres types d’accès légitimes, y compris les clones Git. »
L’ingénieur explique cette charge en grande partie par la valeur que représente kernel.org pour les entreprises d’IA : « Pour un modèle de langage complexe, c’est une mine d’or de données d’apprentissage, car non seulement tout est immédiatement disponible, mais il est aussi facile de filtrer les données pour garantir un contenu pré-IA pur et non altéré. »
Une source précieuse, donc, pour éviter ce qu’on appelle « l’effondrement de modèle » : le risque qu’une IA entraînée sur du contenu produit par d’autres IA finisse par dégrader progressivement la qualité de ses propres réponses.
Dans son papier, Konstantin Ryabitsev ne conteste aucunement le principe même du moissonnage de données. C’est la méthode employée par les scrapers qui pose problème.
En effet, il existe un moyen simple et rapide de récupérer tout l’historique de Linux d’un seul coup : le « git clone », une commande unique qui copie l’intégralité des 1,48 million de modifications apportées au code au fil des années. Or, les scrapers IA utilisent ce que l’ingénieur considère être « la méthode la plus stupide qui soit » : ils consultent chaque modification une par une, en rechargeant à chaque fois une nouvelle page du site.
L’ingénieur explique que, dans un premier temps, la solution trouvée pour alléger cette charge consistait à contenir les scrapers, notamment en bloquant leurs adresses IP. Mais au manque d’optimisation des robots est venue s’ajouter leur capacité croissante à contourner ces blocages : « Et… c’est là que la situation a vraiment dégénéré », écrit Konstantin Ryabitsev.
Face à cette vague, kernel.org a déployé Anubis, un système qui impose à chaque visiteur suspect de résoudre un petit calcul avant d’accéder au site. Efficace plusieurs mois, la parade s’est érodée à mesure que les robots apprenaient, eux aussi, à résoudre ces calculs.
Konstantin Ryabitsev le reconnaît : pour l’heure, aucune solution ne s’impose clairement. Si les capacités de kernel.org tiennent encore, la pression s’accentue avec la multiplication des start-up proposant des « IA personnalisées ».
En attendant, l’ingénieur se dit contraint de désactiver certaines fonctionnalités en accès anonyme, et évoque deux scénarios pour faire retomber la tension : « Peut-être que la bulle de l’IA va éclater et qu’on aura soudainement beaucoup moins d’entités qui tentent d’entraîner leurs modèles. Ou alors, peut-être qu’elles deviendront plus intelligentes et cesseront d’utiliser nos données de la manière la plus stupide qui soit. »
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information. C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez, voici trois bonnes raisons de soutenir notre travail :
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Ajoutez Numerama à votre écran d'accueil et restez connectés au futur !
Le futur n’attend pas : anticipez l’avenir des nouvelles technologies et de l’IA en lisant gratuitement ToujoursPlus, chaque jeudi dans votre boîte mail !
