Oui, c'est compliqué
Argon tout juste présenté il y a un mois, Google l’éclipse déjà par un nouveau venu : Carbon. Il prend la tête des modèles de pointe de l’entreprise, mais il n’est pas encore disponible et les détails manquent.
Google a présenté Argon le 30 septembre comme premier représentant de la famille Gemini 4. Il n’a cependant pas été disponible de tout de suite, le LLM ayant dans un premier temps été examiné par le gouvernement américain. Le 13 octobre, le nouveau modèle a finalement été lancé publiquement. À peine deux semaines plus tard, voilà qu’Argon est déjà remplacé.
Son successeur se nomme Carbon. Il prend ainsi la tête des LLM frontière (de pointe) chez Google et, si l’on en croit les chiffres communiqués, de bon nombre de classements tous modèles confondus. Ce n’est pas tout à fait une surprise cependant, des rumeurs circulaient depuis trois semaines environ sur cette arrivée.
Des performances à l’avenant, mais…
Au vu des scores donnés par Google, Carbon est premier dans 15 des 17 benchmarks référencés. Il n’est derrière que sur deux des tests : FrontierSWE 2, où Carbon obtient 61,2 %, derrière GPT-6 Astra (65,5 %) et Opus 5.5 (62,3 %), et OSWorld, où Opus reste en tête avec 87,2 %, contre 81,5 % pour Carbon.
Artificial Analysis classe Carbon (en effort High) premier de son Intelligence Index v5.0 avec 59 points, devant Claude Opus 5.5 (58), GPT-6 Astra (57) et Argon (50). Attention avec cette version 5 de l’indice, car elle a été révisée pour limiter la saturation (les notes maximales devenaient souvent atteintes). 60 % des tests étant désormais privés ou à réponses non publiées, les scores ne sont pas comparables à ceux des versions précédentes.
Carbon surpasse son prédécesseur dans tous les cas de figure, avec des bonds parfois importants dans certains domaines, comme un passage de 42 à 54,8 % sur ExploitGym. La cybersécurité est d’ailleurs mise en avant par Google, qui précise tout de même que ses tests ont été menés sans aucun garde-fou. Impossible en l’état de savoir ce que les clients auront réellement entre les mains, même si ce n’est que l’un des nombreux points que Google n’aborde pas dans sa présentation.
Parmi les progrès que Google revendique face à Argon, on peut voir un taux de triche désormais à 0,0 % sur Terminal-Bench 4.0, une baisse de 80 % des alertes de désalignement graves dans ses environnements internes de développement, ou encore une réduction de moitié des réponses non étayées.
… peu d’informations concrètes
Problème, Carbon a beau sembler puissant, Google tait pour l’instant de nombreuses informations. La plupart des données fournies émanent de tests internes ou de formulations floues, par exemple sur l’utilisation enthousiasmée des employés qui l’ont testé pendant plusieurs jours. Google ne dit rien non plus de la disponibilité. Si l’on applique le calendrier d’Argon, la sortie publique pourrait intervenir dans deux semaines. Un petit nombre de spécialistes de la cybersécurité y a cependant accès, le nombre devant augmenter progressivement via le programme Fairwind.
Côté tarifs, puisque Carbon remplace Argon, il reprend les mêmes : 2 dollars par million de jetons en entrée, 10 dollars en sortie, avec une remise de 95 % sur les jetons d’entrée en cache. À l’issue de la période de lancement, le tarif passera respectivement à 4 et 20 dollars, mais Google ne donne aucun détail temporel. Carbon, comme Argon, est donc un modèle onéreux. Il est d’ailleurs épinglé comme tel par Artificial Analysis, dont l’indice maison affiche un coût de 7,76 dollars par tâche, qui reste cependant moins élevé que ceux affichés par les derniers modèles Anthropic en effort maximal.
Si Carbon est présenté explicitement comme un successeur d’Argon, sur lequel il est bâti, la gamme Gemini manque de lisibilité, d’autant qu’Argon reste au catalogue. Sa période promotionnelle se finit le 1er décembre, et on peut se demander si Google ne compte pas le retirer alors, pour laisser place à Carbon et sa propre période promotionnelle. Le nouveau venu serait sinon moins cher que son grand frère, ce qui n’aurait guère de sens.
