Google brengt TorchTPU uit: PyTorch zonder omweg op TPU’s
Google heeft dinsdag TorchTPU uitgebracht, een opensourceversie van PyTorch waarmee AI-toepassingen direct op Googles eigen Tensor Processing Units (TPU’s) draaien. Volgens TechCrunch kunnen ontwikkelaars bestaande PyTorch-apps met een configuratiewijziging naar TPU’s en Google Cloud verhuizen, zonder de code te herschrijven. Het doelwit is duidelijk: de greep van Nvidia op de software waarmee AI-modellen worden gebouwd.
Wat TorchTPU doet
PyTorch is het opensourceframework waarmee modellen worden gebouwd, getraind en gedraaid. Meta ontwikkelde het in 2016 en droeg het in 2022 over aan de Linux Foundation. Volgens schattingen die TechCrunch aanhaalt, draait zo’n 85 procent van de AI-apps erop. Veel functies zijn in de loop der jaren rond Nvidia-GPU’s gebouwd. Daar wringt het voor iedereen die andere chips verkoopt.
Google werkte voor TorchTPU samen met Meta, Hugging Face, Inferact (de maker van vLLM) en RadixArk (de maker van SGLang), zodat gangbare bibliotheken en inferentietools ook op TPU’s werken. Tegelijk lanceert Google een TPU agent suite, die apps helpt overzetten naar Google Cloud en fouten tijdens die migratie automatisch oplost, meldt SiliconANGLE. Ook LiteRT, Googles tool voor AI op telefoons, laptops en embedded apparaten, kan nu beter overweg met PyTorch-apps.
Amazon was een dag eerder
De timing valt op. Maandag bracht Amazon TorchNeuron uit, een eigen PyTorch-variant voor de Trainium-chip. Wij schreven er gisteren over: Amazon laat PyTorch-code zonder herschrijven op Trainium draaien. Amazon gaat volgens TechCrunch een stap verder dan Google. Het stuurt ook code in bij het hoofdproject van PyTorch om functies los te koppelen van Nvidia-hardware. Volgens SiliconANGLE heeft Google die stap nog niet gezet.
De cloudreuzen zitten in een vergelijkbare spagaat. Ze kopen op grote schaal bij Nvidia (AWS bestelde onlangs nog 2 miljoen extra Nvidia-GPU’s), terwijl ze klanten ook naar hun eigen chips willen krijgen. Microsoft probeert hetzelfde met de Maia 300 voor goedkopere AI-inferentie. Zolang de software op Nvidia is afgestemd, blijft een overstap voor veel teams te duur.
Nog geen onafhankelijke benchmarks
PyTorch draaide al op TPU’s, via PyTorch/XLA. Volgens Shattered verwijst de PyTorch-documentatie nieuwe TPU-workloads nu naar TorchTPU en krijgt het oudere XLA-pad een migratielabel. Hoe snel en goedkoop TorchTPU in de praktijk is ten opzichte van Nvidia, weet nog niemand. Google en PyTorch hebben geen uitgebreide publieke benchmarks gepubliceerd, dus de beloofde prijs-prestatie is voorlopig Googles eigen verhaal. AI Weekly verwacht op korte termijn ook geen massale overstap.
Wat betekent dit
Voor ontwikkelaars wordt de keuze voor hardware minder definitief. Wie een PyTorch-model heeft, kan bij AWS, Google Cloud en Nvidia-aanbieders prijzen vergelijken zonder eerst een herschrijfproject te begroten. Dat zet druk op de tarieven, ook voor Nederlandse bedrijven die hun modellen in de cloud laten draaien. Het past in een bredere beweging rond open infrastructuur; DeepSeek maakte deze week bijvoorbeeld zijn inferentie-engine DeepInfer open source.
Of Nvidia er echt last van krijgt, hangt af van de eerste onafhankelijke metingen. Tot die er zijn, is TorchTPU vooral een uitnodiging om zelf te testen.
