Kimi, Kimi, Kimi more 🎵
L’intelligence artificielle est-elle en train de vivre son deuxième « moment DeepSeek » avec l’annonce du modèle Kimi K3 par la société chinoise Moonshot AI ? Il a de quoi séduire avec près de 3 000 milliards de paramètres (on parle de modèle 3T-class) et la promesse de poids ouverts. La bourse américaine n’est pas restée indifférente avec une baisse de 1,5 % du Nasdaq lors de l’annonce.
Moonshot AI n’est pas l’entreprise la plus connue dans le monde des intelligences artificielles génératives, mais cela pourrait changer avec son LLM Kimi K3 annoncé la semaine dernière.
Kimi K3 : les gros chiffres
Elle le présente comme « le premier modèle open source à atteindre 2 800 milliards de paramètres ». Il dispose aussi d‘une large fenêtre contextuelle jusqu’à un million de tokens (comme Fable 5, Opus 4.8 et GPT-5.6 sol). Attention, le côté open source est pour le moment en paper launch, avec la promesse que « les poids complets des modèles seront publiés d’ici le 27 juillet 2026 ».
Kimi K3 utilise une mixture d’experts (Mixture of Experts ou MoE) qui consiste à n’utiliser qu’une partie des paramètres à chaque fois. Le modèle comprend 896 experts dont 16 sont appelés à chaque fois.
Vous verrez peut-être passer sur Internet la mention « 2.8T-A50B », c’est un simple calcul basé sur les informations officielles : 2 800 milliards de paramètres, cela donnerait 3,125 milliards de paramètres par expert (2800/896), et donc 50 milliards de paramètres pour 16 experts. Mais c’est un calcul simpliste, d’autant plus sans précisions de la part de Moonshot AI.
