« ChatGPT peut faire des erreurs »
L’humanité est passée à un cheveu, ou plutôt à une hallucination près, de partir en lattes. Au printemps, l’armée américaine était en effet à deux doigts de prendre d’assaut un navire chinois soupçonné de transporter des composants pour un programme nucléaire. Problème : le rapport sur lequel l’armée se basait a été généré par une IA qui a halluciné la cargaison du bateau.
Depuis quelques jours, les grands acteurs de l’IA jouent à se faire peur, en affirmant que cette technologie pourrait signer la fin de l’humanité. Un storytelling apocalyptique qui sert aussi et surtout les intérêts commerciaux d’entreprises qui préparent leurs introductions en Bourse.
Le vrai danger immédiat de l’IA réside dans les décisions potentiellement catastrophiques d’humains prises à partir d’informations non fiables ou carrément hallucinées. C’est particulièrement problématique quand il s’agit de décisions militaires. CNN rapporte un exemple qui fait froid dans le dos.
WarGames pour les nuls
Au plus fort de la guerre contre l’Iran ce printemps, l’armée américaine a très sérieusement envisagé d’intercepter un navire chinois par la force, avec l’aide d’un support aérien armé. Le bâtiment, qui croisait au Moyen-Orient, transportait des composants destinés à un programme d’armement nucléaire, du moins d’après un rapport rédigé par un analyste du commandement des opérations spéciales américaines pour le Pacifique, basé à Hawaï.
Fort heureusement, juste avant le lancement de l’opération, des responsables ont examiné de plus près le fameux rapport. Ils ont alors découvert qu’il avait été rédigé avec l’aide d’un bot IA qui a mal identifié la nature du matériel transporté par le navire, à partir de son manifeste. Une des sources de CNN affirme que le rapport était « complètement faux ». Cette histoire basée sur l’hallucination d’une IA a « presque failli déclencher une guerre » : toute opération américaine contre un navire chinois peut dégénérer en conflit entre les États-Unis et la Chine.
Le bot aurait patouillé des renseignements publics avec des renseignements classifiés pour déterminer, faussement, que le bâtiment transportait une cargaison dangereuse. Une conclusion qui aurait pu être très lourde de conséquences.
Le Pentagone hallucine aussi
Le ministère de la Défense américain, emmené par le très trumpiste Pete Hegseth, a fait de l’intégration de l’IA dans les opérations militaires une priorité. Une intégration à marche forcée : les responsables états-uniens, tout comme Donald Trump, estiment que le pays ne peut pas prendre de retard sur ce dossier. Que se passerait-il si les États-Unis devaient affronter la Chine ou un autre adversaire mieux équipé ?
Une note du Pentagone décrivait la stratégie à suivre (PDF) : démocratiser l’expérimentation de l’IA dans l’ensemble du ministère, « en mettant les modèles d’IA américains de pointe directement entre les mains de nos trois millions de personnels civils et militaires, à tous les niveaux de classification ».
La mise en œuvre serait cependant bien décousue : chaque branche du gouvernement utilise des outils différents avec des normes de sécurité tout aussi différentes. Aucun standard n’existe pour vérifier les informations de ces systèmes d’IA. Les humains restent donc, plus que jamais, absolument indispensables pour prendre les décisions, en espérant que ce soient les bonnes.
