Coucou Amazon, coucou NVIDIA
Alors qu’AWS vient de lancer son TorchNeuron pour permettre aux entreprises intéressées d’entrainer leurs modèles sur les puces maison Trainium, Google a fait une annonce similaire avec TorchTPU. Comme le nom l’indique, il s’agit cette fois d’orienter les calculs vers les puces TPU fournies par Google. Celle-ci met cependant en avant son partenariat avec Meta pour PyTorch.
Google propose désormais sa propre pile logicielle permettant d’exécuter PyTorch directement sur ses TPU, sans passer par une couche d’adaptation. L’annonce, faite durant la PyTorch Conference 2026, suit de près celle d’Amazon Web Services avec son TorchNeuron.
Rappelons que PyTorch est une bibliothèque permettant, entre autres, de construire et d’entrainer des modèles IA. Comme nous l’indiquions dans notre actualité sur TorchNeuron, PyTorch a besoin d’une couche intermédiaire pour traduire les opérations en instructions reconnues par le matériel. Dans la grande majorité des cas, cette couche est CUDA, une technologie propriétaire que NVIDIA travaille depuis longtemps pour s’assurer que tous types de calculs pourront être exécutés sur ses GPU.
Au tour des puces TPU
Si l’objectif d’AWS avec TorchNeuron était de pouvoir rediriger ces calculs facilement vers ses puces Trainium, Google fait maintenant de même avec ses TPU.
Jusqu’à présent, pour exploiter ces puces dans le cloud de Google depuis PyTorch, il fallait passer par XLA, une solution que Google présente désormais comme peu naturelle. Le dépôt GitHub de XLA a d’ailleurs été mis à jour pour indiquer que le projet est à présent déprécié et remplacé par TorchTPU. Il sera archivé le 15 novembre, tout va donc aller très vite.
Le dépôt de TorchTPU est bien sûr déjà en ligne, le projet étant sous licence Apache 2.0 et donc open source. Deux modes d’exécution sont proposés. Le premier, eager, consiste à exécuter immédiatement le programme ligne par ligne, un cas jugé notamment utile pour chercher une erreur. Le second, torch.compile, analyse au contraire l’ensemble du programme avant de l’exécuter. TorchTPU permet de commencer avec le premier et de basculer dans le second si besoin.
Comme pour TorchNeuron, TorchTPU permet d’utiliser les puces de Google aussi bien pour l’entraînement que pour l’inférence. Google met largement en avant la compatibilité avec l’écosystème existant. TorchTitan, conçu pour répartir les calculs d’entraînement sur des milliers de puces, est par exemple de la partie. Selon Google, son fonctionnement a affiché une montée en charge linéaire jusqu’à 8 129 TPU. VeRL, pour l’apprentissage par renforcement, Ray, pour la répartition des étapes des chaînes de traitement, vLLM, un serveur faisant tourner les modèles de langage, ou encore SDLang et llm-d sont cités.
Pour Google, il s’agit d’un point clé dans son annonce. Cette logique de compatibilité apparait clairement dans plusieurs cas. Pour vLLM et SGLang par exemple, l’annonce précise que les ordonnanceurs, les modèles de travail et les serveurs d’API d’origine sont conservés, et que les piles d’inférence existantes peuvent être reprises telles quelles. Pour VeRL, le code des modèles et des algorithmes reste indépendant du matériel. Pour Hugging Face, également de la partie, un paramètre (device_map= »tpu ») suffit.
Le même goulot que chez Amazon
Les problématiques et les enjeux sont à peu près les mêmes que chez AWS. Google a tout intérêt à appuyer dans cette direction pour réduire la dépendance très présente de l’écosystème IA à NVIDIA. En réduisant autant que possible les frictions à utiliser les puces TPU, Google cherche donc à s’assurer une nouvelle place de choix dans l’entraînement des modèles comme dans leur inférence.
Il y a tout de même une différence notable dans TorchTPU : Meta participe directement au projet. Ayant créé PyTorch initialement (le projet est géré par la Linux Foundation depuis 2022), l’entreprise reste très impliquée dans son développement. Selon Digitimes, Meta est l’un des plus gros clients de NVIDIA. Elle chercherait donc activement à réduire sa dépendance, l’entreprise ayant également testé la location de capacité TPU auprès de Google Cloud.
Notez que Google, pas plus qu’Amazon, ne parle ouvertement de lutte contre NVIDIA. Mais il est difficile d’évoquer un PyTorch « plus indépendant » sans faire un clin d’œil à la firme de Santa Clara.
