Google breidt TPU-lijn uit met 8tx en 8i Max

Google heeft maandag twee nieuwe AI-chips toegevoegd aan de achtste generatie van zijn Tensor Processing Units: de TPU 8tx en de TPU 8i Max. De eerste is bedoeld voor vertrouwelijke berekeningen op gevoelige data, de tweede voor modellen die met enorme hoeveelheden context moeten werken. Daarmee brengt Google dit jaar vier TPU-systemen uit. Volgens het bedrijf is dat nooit eerder vertoond.

TPU 8tx: rekenen zonder dat data zichtbaar wordt

In de aankondiging op de blog van Google schrijft Amin Vahdat, chief technologist voor AI en infrastructuur, dat de TPU 8tx op hetzelfde silicium is gebaseerd als de TPU 8t, de trainingschip die Google in april liet zien. Het verschil zit in de omgeving. De chip draait samen met processors uit de vijfde EPYC-generatie van AMD en biedt confidential computing op hardwareniveau. Data en modelgewichten blijven tijdens de verwerking afgeschermd.

Volgens Network World is het de eerste TPU van Google Cloud met confidential computing. Het systeem versleutelt het dataverkeer van de host naar de TPU’s en kan aantonen dat er niet mee is gerommeld. Mark Lohmeyer, vicepresident bij Google Cloud, zei tegen de site: “You shouldn’t have to trade off between security and performance.” Doordat de 8tx gebruikmaakt van het snelle Boardfly-netwerk van de TPU 8i, ligt de latency volgens Google tot twee keer lager dan bij de 8t. Bedrijven kunnen er ook modellen op hun eigen, afgeschermde data fine-tunen, distilleren of met reinforcement learning trainen.

TPU 8i Max: twee chips in één behuizing

De TPU 8i Max stopt twee TPU 8i-chips samen in één package. Rekenkracht, SRAM en geheugenbandbreedte zijn daarmee twee keer zo groot als bij een losse 8i. Network World noemt 384 GB HBM-geheugen, 17,2 TB/s bandbreedte en 768 MB SRAM op de chip. Omdat er twee keer zoveel silicium in hetzelfde rack past, levert een datacenter meer rekenkracht per vierkante meter en per watt. Google mikt daarmee op modellen met heel grote contextvensters.

Opvallend is dat Google zijn rekenkracht steeds vaker aan anderen verkoopt. Oracle biedt als eerste cloud de AI-chips van Google aan en OpenAI wil chips van Google kopen naast die van NVIDIA. Volgens Vahdat heeft de TPU inmiddels bijna honderd klanten, van AI-labs tot handelshuizen en universiteiten.

Software voor AI-agents

De chips komen met nieuwe software. TPU Sync, dat Google open source heeft gemaakt, voegt HBM, werkgeheugen, opslag en netwerk samen tot één geheugenlaag. Als een AI-agent stilvalt, schuift het systeem diens werkgeheugen van de chip af. Daardoor daalt de tijd tot het eerste token volgens Google met meer dan 90 procent. Lohmeyer omschrijft het werk van agents als “bursty, long running, but often idle”. Verder is er een open source pakket waarmee codeertools als Claude Code en Cursor helpen bij de overstap naar TPU’s.

Prijzen en een datum voor algemene beschikbaarheid noemt Google nog niet, schrijven zowel Network World als Techzine.

Wat betekent dit

Met de 8tx richt Google zich op banken, zorginstellingen en overheden die hun data niet zomaar naar een gedeelde cloud willen sturen. Voor Europese organisaties die te maken hebben met strenge privacyregels kan dat de drempel voor AI in de cloud verlagen. De 8i Max is vooral interessant voor wie lange documenten of grote codebases door een model wil halen. Dat Google nu vier varianten uitbrengt, laat zien hoe fel de concurrentie met NVIDIA inmiddels is. De vraag naar rekenkracht blijft intussen maar stijgen: Goldman Sachs verwacht 273 gigawatt aan datacenters in 2030 en Google Cloud verdubbelde onlangs zijn omzet dankzij de vraag naar AI. Of de nieuwe chips die groei verder aanjagen, hangt af van prijs en levertijd. Daarover zwijgt Google voorlopig.