« Petit ange parfait »
Dans le sillage de Dario Amodei, patron d’Anthropic, toute l’industrie de l’IA générative semble réclamer à l’unisson un ralentissement du développement sur les modèles frontières. Si la sécurité est largement mise en avant, les intérêts géopolitiques et économiques ne sont pas loin.
Le 12 septembre, le CEO d’Anthropic (Claude) a publié un billet de blog intitulé « We must pace the frontier », (que l’on peut traduire par « nous devons ralentir la frontière »). Dans cet essai, le patron veut faire passer un message : le développement des modèles frontières va trop loin, les LLM les plus poussés représentent un danger et il est temps de réguler pour que la situation ne dérape pas. Le danger semble omniprésent.
Ce que dit Dario Amodei
Le CEO en est sûr : « Maniée avec soin, l’IA peut être la dernière d’une longue série de miracles technologiques qui ont élevé et anobli l’humanité ». Ce « Maniée avec soin » résonne comme un avertissement, sur lequel Amodei enchaîne rapidement : « L’IA comporte des risques, et parce qu’il s’agit d’une technologie si puissante, ces risques sont sérieux ».
Le patron se pose largement en partisan de la voie du milieu : « Ne pas construire cette technologie prive l’humanité de bénéfices ou place simplement l’IA entre les mains de puissances autoritaires, tandis que la construire trop vite est imprudent. Nous avons cherché une voie médiane : montrer qu’il est possible de construire avec soin et de réussir commercialement, et de faire de la sécurité un domaine sur lequel les entreprises d’IA sont en concurrence ».
Il dit cependant avoir acquis depuis trois mois la conviction que la prévention des risques est insuffisante. Comment ? Il fait deux constats.
D’abord, l’auto-amélioration récursive. Depuis cet été, les progrès accéléreraient significativement car les systèmes contribueraient directement à construire la génération suivante. Amodei cite un article publié en mai par Anthropic dans lequel on pouvait lire notamment que plus de 80 % des lignes fusionnées dans le code de production en mai 2026 étaient attribuées à Claude. L’ingénieur médian fusionnait au deuxième trimestre 2026 huit fois plus de code par jour qu’en 2024. Sur une tâche standardisée d’optimisation de code d’entraînement, le gain moyen serait passé d’environ x3 (Claude Opus 4, mai 2025) à environ x52 (Mythos Preview, avril 2026), toujours selon la publication.
Ensuite, l’incident OpenAI-Hugging Face. Le rapport de METR et Redwood Research, amplement contestable sur de nombreux aspects, avait tenté de montrer comment 1 200 agents s’étaient coordonnés, 700 d’entre eux partant finalement à l’attaque de Hugging Face. Dans son billet, Amodei reprend largement la sémantique du rapport, comparant l’essaim d’agents à « un collectif fanatiquement dévoué » et évoquant les « sacrifices » de certains agents au profit des autres.
Le CEO en est convaincu : « Compte tenu du rythme accéléré du développement des capacités de l’IA, je crains qu’en 6 à 12 mois, un tel essaim puisse prendre le contrôle de tout Internet avec un botnet persistant (causant potentiellement des centaines de milliards de dollars de dégâts), et que l’ampleur des dégâts continue d’augmenter si l’IA devient plus puissante sans les garde-fous nécessaires ». Et pour enfoncer le clou, il indique que des incidents similaires se sont produits chez Anthropic – bien que « moins graves », assure Amodei – et que toutes les entreprises IA devraient agir comme si un incident similaire leur était arrivé.
Un plan en trois actes
Le patron d’Anthropic propose un plan en trois actes pour y parvenir.
Premièrement, chaque entreprise devrait s’engager « à fournir un accès continu, de type employé, à une équipe d’évaluateurs tiers intégrés », Amodei citant une fois de plus METR. Ces évaluateurs auront un plein accès aux travaux en cours, comme les employés d’Anthropic, promet Amodei. Ils auront également leurs propres bureaux, des badges d’accès, des ordinateurs fournis par l’entreprise et un droit de publication sans contrôle éditorial d’Anthropic. À une réserve près tout de même : la société se réserve tout de même le droit de « caviarder les informations sensibles en matière de sécurité, juridiquement privilégiées, commercialement sensibles ou confidentielles appartenant à des tiers. »
Deuxièmement, le CEO milite pour une « coordination démocratique ». Plus précisément, il souhaite une coordination des « entreprises d’IA de pointe » dans ces démocraties pour créer des normes de sécurité communes et « limites au rythme des progrès incontrôlés de l’IA ». Selon lui, certains aspects de cette coordination seront « juridiquement complexes » et réclameront un « soutien gouvernemental ».
Enfin, une coordination mondiale, dans laquelle le gouvernement américain et les autres démocraties tenteraient de mettre au pas les gouvernements autoritaires « dans la mesure du possible ». Amodei reconnait cependant que la vérification de ce respect posera un défi évident.
Amodei, Altman et Musk dans un bateau
Sam Altman et Elon Musk ont rapidement réagi sur X pour exprimer leur accord. Elon Musk s’est contenté d’un « Dario a raison », mais Sam Altman en a dit un peu plus. Il indique notamment que les discussions autour de la sécurité sont vives au sein des locaux depuis plusieurs semaines.
Dans un autre tweet, Altman dit qu’il accueillera « favorablement un cadre fédéral » pour la mise en place « d’exigences de sécurité cohérentes pour les IA de pointe ». Dans un autre encore, il évoque deux manières dont l’IA pourrait déraper : une perte de contrôle et une trop grande centration de pouvoir autour d’une IA ou d’une entreprise. Pour empêcher ces scénarios, OpenAI l’affirme : « nous avons besoin de moyens pour assurer que les techniques d’alignement et de sécurité restent en avance sur les progrès des capacités des modèles ». « Nous sommes sans équivoque dans l’équipe de l’humanité », assure Sam Altman. OpenAI commercialise pourtant sa technologie au Pentagone. « Un pays pourrait gagner trop de pouvoir », estime Altman.
