Heu… 43 800 euros en note de frais, ça passe ?
Installer le modèle open source Kimi K3 en « local » c’est faisable ? Non… Et en louant des GPU pour rester maître de ses données ? En théorie, oui… mais la facture risque de vous faire mal au porte-monnaie avec plus de 1 000 euros… par jour.
C’est donc aujourd’hui que Moonshot AI publie les poids de son dernier modèle Kimi K3, avec pas moins de 2 800 milliards de paramètres. Il est donc possible de l’installer et de l’utiliser en local ou bien sur une machine louée. Vous pouvez rester maître de vos données et prompts, sans passer par les serveurs de l’entreprise.
Est-ce facile à déployer sur une machine ? Réponse simple : non. Quelles sont les performances ? Excellentes… pour vider rapidement votre porte-monnaie. Cela mérite des explications.
Le point crucial est la mémoire. Pour utiliser dans de bonnes conditions un modèle, il faut pouvoir charger ses paramètres en mémoire – idéalement dans celle du GPU, même s’il est possible de composer aussi avec celle du CPU au prix de performances moindres. Les paramètres, ce sont les poids des neurones. À la place des poids, on peut aussi parler des nombres.
Avec un modèle aussi gros, louer des instances GPU pour le faire tourner nous couterait plusieurs dizaines de milliers d’euros par mois, comme nous allons le voir.
