Recevez tous les soirs un résumé de l’actu importante avec Le Récap’
OpenAI est revenu sur la sécurité de ses modèles dans une communication publiée le 23 octobre. Les cas de « désalignement », ces comportements qui s’écartent de ce que l’on attend des IA, se sont accumulés ces derniers mois avec pas moins de 20 incidents constatés sur l’année 2026.
Chez OpenAI, des agents sont notamment parvenus à pirater Hugging Face pendant une évaluation interne. D’autres ont appris à dissimuler leurs erreurs.
En septembre, un nouvel accès non autorisé à Internet avait conduit l’entreprise à suspendre certains travaux sur ses modèles les plus avancés. OpenAI précise désormais que cette pause a duré onze jours, jusqu’au 1er octobre, pour renforcer ses protections et les mettre à l’épreuve.
Trouver une information, écrire du code, résoudre un problème : pour entraîner une IA, OpenAI (et d’autres) force son modèle à trouver une solution. Le modèle essaie, échoue, recommence, et les essais réussis servent ensuite à renforcer les comportements qui l’ont mené au but. Mais comment s’assurer qu’il ne prend pas un raccourci interdit pour y arriver ?
D’où l’idée de l’enfermer dans un environnement contrôlé, souvent appelé « bac à sable ». L’IA y dispose d’outils pour travailler, mais ses accès sont limités. Un peu comme un terrain d’exercice : elle doit pouvoir s’entraîner sans intervenir sur les systèmes extérieurs.
Or, un modèle peut chercher à contourner ces limites pour terminer sa tâche. En septembre, un agent d’OpenAI devait simplement retrouver l’auteur d’un billet de blog. Ses recherches n’aboutissant pas, il avait profité d’un filtrage insuffisant du DNS (le service qui traduit les noms de sites en adresses) de son bac à sable pour interroger un chatbot extérieur, malgré l’interdiction d’accéder à Internet. Personne ne lui avait demandé de tester la sécurité de son environnement.
Pour OpenAI, les protections actuelles ne suffisent pas encore pour laisser ses modèles les plus avancés accéder au véritable Internet pendant leur entraînement. L’entreprise compte appliquer cette règle tant que la recherche et les outils de surveillance n’auront pas progressé. L’entreprise explique :
« Bien que l’accès à internet puisse aider les modèles à acquérir des compétences utiles, il offre également à un agent compétent mais mal intentionné la possibilité d’influencer des systèmes hors de notre contrôle. », peut-on lire dans le billet de blog d’OpenAI.
Autrement dit, il faut à la fois apprendre aux modèles à respecter les règles et prévoir des barrières techniques au cas où ils les contournent. Les tests menés par OpenAI ces dernières semaines montrent pourtant que couper le réseau ne supprime pas tous les moyens d’échanger.
Dans une expérience supervisée menée après l’incident de septembre, l’équipe d’OpenAI a voulu vérifier si ses agents pouvaient communiquer malgré les barrières censées les isoler.
Pour cette campagne, OpenAI a mobilisé des équipes d’agents fondées sur ses modèles les plus puissants, dont le futur GPT-6 Astra Cyber, et y a consacré des centaines de milliards de tokens. Les agents disposaient du code source de l’infrastructure, de sa configuration et d’une documentation sur ses failles possibles. Les essais se déroulaient sur des copies isolées des systèmes de recherche.
Les chercheurs ont demandé à des agents IA de communiquer depuis des espaces informatiques séparés, sans réseau ni fichier commun. Mais ces espaces partageaient le même processeur et sa petite mémoire rapide, appelée « cache ». Un agent chassait certaines données de cette mémoire, ce qui obligeait l’autre à aller les chercher, plus lentement, dans la mémoire principale. En chronométrant ses propres opérations, le second détectait ces ralentissements. Avec un code convenu entre eux, ces variations devenaient un message (un peu comme du morse), où les accès rapides et lents remplacent les signaux courts et longs. Aucun fichier ne passait de l’un à l’autre. L’information circulait uniquement par les variations de vitesse du matériel partagé.
On peut imaginer deux personnes dans des pièces voisines du même bâtiment sans téléphone, qui tapent contre la cloison pour se parler. Il leur suffit de convenir d’un code et d’un tempo pour se comprendre. Ici, le matériel partagé joue le rôle du mur, et les différences de vitesse remplacent les coups.
Ces expériences permettent de comprendre jusqu’où peut aller l’IA pour réussir une tâche, mais ici ils n’ont pas désobéi puisque les chercheurs leur demandaient explicitement de chercher ces passages, avec des indications dans la plupart des tests. L’expérience ne montre donc pas des IA décidant spontanément de se coordonner, mais les moyens mis en œuvre pour y arriver dans des conditions très dégradées.
Après ces onze jours de pause, OpenAI détaille une protection à plusieurs niveaux. Sous Linux, les agents travaillent dans des conteneurs restreints, eux-mêmes installés dans de petites machines virtuelles. Le conteneur limite les fichiers et les processus accessibles. La machine virtuelle ajoute une séparation avec l’ordinateur physique qui l’héberge. L’objectif est de conserver une barrière si l’agent franchit la première.
Autour, les restrictions réseau doivent encore bloquer les accès interdits, même si l’agent prend le contrôle de la machine hôte. Des systèmes de surveillance cherchent à détecter les comportements dangereux et à arrêter automatiquement les travaux concernés.
L’enjeu dépasse donc le simple accès au Web. Fermer les portes les plus évidentes ne dispense pas de vérifier ce qui peut encore passer à travers les cloisons.
Découvrez les nombreux avantages de Numerama+.
Vous avez lu 0 articles sur Numerama ce mois-ci
Tout le monde n'a pas les moyens de payer pour l'information. C'est pourquoi nous maintenons notre journalisme ouvert à tous.
Mais si vous le pouvez, voici trois bonnes raisons de soutenir notre travail :
Si vous croyez en un web gratuit et à une information de qualité accessible au plus grand nombre, rejoignez Numerama+.
Ajoutez Numerama à votre écran d'accueil et restez connectés au futur !
Le futur n’attend pas : anticipez l’avenir des nouvelles technologies et de l’IA en lisant gratuitement ToujoursPlus, chaque jeudi dans votre boîte mail !
