A man chooses, a slave obeys
Anthropic a ouvert lundi l’accès à Fable 5.2, la dernière version en date de son modèle le plus puissant accessible au public. Elle promet des progrès significatifs en code, en sciences, en robotique et en analyse d’images, avec des filtres plus permissifs et un coût en baisse par rapport à Fable 5.1. Sa déclinaison Mythos 5.2 reste cantonnée aux entreprises et organisations accréditées.
L’annonce tombe à pic pour séduire les investisseurs alors qu’Anthropic se prépare à dévoiler les modalités exactes de son introduction en bourse : l’éditeur des modèles Claude a publié lundi 9 novembre Fable 5.2 et Mythos 5.2, les deux déclinaisons de son modèle d’IA générative le plus puissant.
Des démonstrations brillantes, mais coûteuses
Dans son billet d’annonce, Anthropic donne deux exemples concrets censés illustrer ces progrès. Côté raisonnement, Fable 5.2 aurait réussi à formaliser la démonstration du dernier théorème de Fermat en seulement 30 heures, avec une intervention humaine « minimale », là où Opus 5.5 n’atteignait que 26 % de démonstration au bout de 18 heures, avant de ne quasiment plus avancer.
En matière de code, un employé d’Anthropic aurait réussi à concevoir, en partant d’une feuille blanche et en seulement huit jours, un système d’exploitation fonctionnel, capable de démarrer sur un ordinateur portable, avec pilotes, système de fichiers, interface graphique, authentification, accès à Internet et – bien sûr – intégration d’un client Claude.
Ces réussites ont toutefois été obtenues au prix d’une véritable débauche de tokens. Anthropic indique en effet que dans les deux cas, plus de mille agents (des instances parallèles) ont été mis en œuvre. Notons que ni la démonstration en question, ni le code de l’OS généré, n’ont été publiés.
En tête des tests liés aux capacités de raisonnement
Sur le volet des performances chiffrées, Anthropic avance l’habituelle panoplie de tests de performances, réalisés en interne, qui illustrent les avancées de Fable 5.2. Son dernier modèle dépasserait ainsi ses prédécesseurs, mais aussi les principaux modèles concurrents, dont GPT-6 Astra et Gemini 4 Carbon, sur tous les benchmarks envisagés, à l’exception de l’automatisation de processus métiers.
Les progrès seraient particulièrement marqués sur le terrain de la cybersécurité, réservé à Mythos :
« Lors de notre évaluation interne, CVE Rediscovery, Claude Mythos 5.2 a détecté 10,2 % de vulnérabilités supplémentaires par rapport à Claude Opus 5.5 et 14,4 % de plus que Claude Mythos 5.1. Claude Mythos 5.2 fait également preuve d’une meilleure capacité de jugement et d’un meilleur étalonnage : un testeur a constaté que les modèles précédents avaient surestimé la gravité d’environ 1 vulnérabilité sur 20, alors que Claude Mythos 5.2 n’en avait surestimé aucune. »
Les tests synthétiques indépendants réalisés par le site Artificial Analysis confirment que Fable 5.2 prend la tête dans les scénarios qui supposent de très longues phases de raisonnement, particulièrement quand elles sont appliquées à des problèmes scientifiques ou à de l’élaboration de code. Ils soulignent dans le même temps des résultats plus disparates sur des missions plus ciblées, notamment pour la délégation de tâches courantes. Opus 5.5 garde ainsi un certain avantage sur les tâches de bureau, de l’aveu même des benchmarks d’Anthropic.
Anthropic prétend dans le même temps que Fable 5.2 sait travailler de façon plus efficace que son prédécesseur (Fable 5.1) :
« Lors des premiers tests sur la plateforme d’évaluation FrontierCode 2.0, Fable 5.2, avec un effort élevé, a obtenu des résultats comparables à ceux d’Opus 5.5 avec un effort maximal, pour un coût par tâche environ deux fois inférieur. Avec un effort très élevé, il a également obtenu le meilleur score parmi tous les modèles testés ».
Fable 5.2 délivrerait également des performances en hausse en matière de pilotage robotique, une thématique moins anecdotique que d’aucuns pourraient le penser, dans la mesure où elle implique que le modèle soit capable de prendre en compte le contexte issu du monde réel, dans une logique de world model qui suscite de nombreux projets et convoitises. Dans un domaine connexe, Fable 5.2 aurait également été capable de concevoir seul, de A à Z, des appareils électroniques complets, allant du design de la carte mère à la conception 3D du boîtier, sur la base d’un seul prompt.
Sécurité et alignement
Modèle de pointe oblige, Anthropic conserve avec Fable 5.2 des filtres qui visent à limiter l’exploitation à des fins de cybersécurité offensive, de tests de pénétration ou de recherches biologiques. Les requêtes filtrées seront ainsi redirigées vers des modèles moins performants, Opus 4.8 pour la cybersécurité et Opus 5 pour la biologie. Les entreprises qui évoluent dans ces domaines peuvent quant à elles solliciter un accès à Mythos 5.2, la version « débridée » du modèle sur ces aspects précis.
Après avoir appelé à ralentir le développement des modèles de pointe sur fond de risque existentiel supposé pour l’humanité, et entretenu pendant des mois une communication relevant du marketing de la peur, Anthropic se devait également d’aborder les questions d’alignement et de sécurité générale.
L’entreprise affirme sur ce point avoir fait inspecter ses nouveaux modèles par quatre auditeurs externes, dont le controversé METR, et revendique des résultats supérieurs à ceux obtenus par ses modèles précédents sur tous les aspects qui touchent aux dérives comportementales ou aux hallucinations. Placé dans un scénario susceptible de le conduire à exploiter des codes d’accès à mauvais escient (pour par exemple outrepasser les limites de son environnement), Mythos 5.2 n’aurait ainsi cédé à la tentation que dans 3,1 % des cas, contre 21 % pour Mythos 5.1 et 39 % pour Mythos 5.
Anthropic admet toutefois qu’il est difficile de mesurer les limites de sécurité d’un modèle tant que celui-ci n’a pas été déployé à grande échelle :
« C’est pourquoi nous ne nous fions pas uniquement à ces évaluations pour obtenir une vision globale de la sécurité : nous nous appuyons sur le suivi pendant la formation, l’analyse des transcriptions d’utilisation interne, les tests réalisés par des évaluateurs externes et des techniques d’interprétabilité pour examiner le fonctionnement interne du modèle. »
Fable 5.2 est accessible publiquement aux utilisateurs de Claude à partir de la formule Pro, avec une tarification fixée à 8 dollars le million de tokens en entrée et 40 dollars le million en sortie, soit 20 % de réduction par rapport aux tarifs en vigueur pour Fable 5.1 (10 dollars / 50 dollars). Un mode rapide (fast mode) accélérant la génération d’un facteur jusqu’à 2,5 est également accessible pour un prix doublé (16 dollars/ 80 dollars).
