Des essaims d’agents IA autonomes qui collaborent à l’exécution d’une tâche n’est pas une idée nouvelle. On la trouve non seulement dans la science-fiction, mais surtout dans de très nombreux travaux de la recherche en IA depuis son origine. Elle retrouve une actualité avec le hacking d’un site Internet par des agents IA développés par OpenAI.
Au début des années 1970, Marvin Minsky (1927-2016) travaillait déjà sur sa théorie de « la société de l'esprit » qu'il publiera en 1986 (The Society of Mind). Celle-ci considère l'esprit humain comme un vaste ensemble de processus relativement indépendants, appelés agents, qui collaborent et d'où émergent l'intelligence, la pensée et la conscience. Dans le prolongement de ces travaux, les agents autonomes et les systèmes multiagents ont constitué dans les années 1980 et ensuite, l'un des thèmes récurrents de la recherche en IA.
Ainsi, à titre d'exemple, en 2004, je publiais un article sur des agents capables d'évoluer (Evolutionary Virtual Agents) et en 2011 un modèle de chatbot basé sur un groupe d'agents dialoguant ensemble d'où émergeait une personnalité complexe. On peut en effet représenter la personnalité d'un individu comme un réseau de « facettes » qui interagissent entre elles et avec le monde extérieur. Ces facettes peuvent correspondre à des traits de personnalité différents, comme l'enfant que nous sommes toujours, leparent, le professionnel, etc., ou des compétences spécifiques. Chaque facette étant un agent autonome doté de son propre comportement, on peut ainsi imaginer des dialogues entre agents, indépendamment de la présence ou non d'un interlocuteur humain. D'une certaine manière, ces « petites voix intérieures » évoquent les pensées qui traversent notre esprit constamment.
En 2017, je mettais en évidence les différentes classes de comportements qui émergeaient de ces dialogues intérieurs et que la cohérence pouvait être obtenue par une sélection émotionnelle. Autrement dit, ce serait l'état émotionnel qui favoriserait telle ou telle facette de la personnalité en fonction du contexte. Si l'IA est composée de très nombreuses facettes hétérogènes, la sélection émotionnelle permet de réguler les comportements et de faire émerger une personnalité globale qui apparait comme cohérente.
Un des avatars du chatbot émotionnel multi-agents développé en 2011. © Source Jean-Claude Heudin.
Plus récemment, dans un interview pour CNN, suite au hack du site Hugging Face lors d'un test d'OpenAI, le CEO d'Anthropic imagine un scénario de type « Skynet » où un essaim de plusieurs milliers d'agents initialement utilisés pour déployer une application pourraient faire tomber de larges pans d'Internet. Alors que les dirigeants des principales sociétés d'IA demandent une pause dans le développement, on ne peut qu'être abasourdi par leur apparente schizophrénie, ou par leur comportement de « pompiers pyromanes » comme l'a souligné Laurence Devillers. À l'évidence, ces déclarations sont motivées essentiellement par des considérations marketing et financières, et non par l'utilisation potentielle de leur technologie dans un contexte de guerre informationnelle, commerciale ou militaire.
Si l'IA est en passe de devenir une arme, ce qui est probable, il faut alors non seulement inclure des « kill-switches » dans les agents IA, mais aussi développer impérativement des systèmes d'IA de protection active (APS) comme c'est le cas dans les systèmes d'armes militaires.
