AMD koopt Taalas en brandt AI-modellen in silicium

AMD neemt Taalas over, een chipbedrijf uit Toronto dat de gewichten van een AI-model rechtstreeks in transistors etst. De overname werd op 6 augustus bekendgemaakt. CNBC en The Register melden dat AMD geen bedrag noemt en dat de deal in het vierde kwartaal moet worden afgerond, onder voorbehoud van goedkeuring door toezichthouders.

Taalas bestaat sinds 2023 en haalde volgens The Register 219 miljoen dollar aan durfkapitaal op. Het bedrijf maakt wat het model-specific integrated circuits noemt: chips die maar één model kunnen draaien, en dat dan wel heel snel.

Gewichten in de transistors

Bij een gewone GPU staan de modelgewichten in geheugen. Elke keer dat het model een token voorspelt, moeten die gewichten opnieuw gelezen worden. Die leesactie bepaalt in de praktijk het snelheidsplafond van zowat elk inferentiesysteem dat vandaag draait. Taalas schrapt de stap door de gewichten vast te leggen in een mask-ROM-structuur op de chip zelf. Alleen de KV-cache en fine-tuningadapters gaan naar SRAM. Voor de gewichten is geen HBM meer nodig, precies het geheugen waar de hele sector om vecht en waarvoor onlangs een open standaard werd opgetuigd.

De testchip HC1, gebakken op het 6nm-procedé van TSMC, haalde volgens Taalas 16.960 tokens per seconde op Meta’s Llama 3.1 8B. Bij de aankondiging in februari noemde het bedrijf dat 48 keer sneller dan Nvidia-GPU’s en 8,5 keer sneller dan de versnellers van Cerebras. Een tweede generatie, HC2, mikt op modellen tot 20 miljard parameters.

Wat AMD ermee wil

AMD wil de Taalas-versnellers naast zijn Instinct-racks zetten, de opstelling die het bedrijf Helios noemt. The Register verwacht een verdeling waarin de GPU’s de prompt verwerken en de Taalas-chips daarna de tokens uitspugen. Dat idee is niet nieuw voor AMD, dat eerder met Cerebras een gesplitste inferentie-opzet demonstreerde. Het past ook in een bredere golf: Etched haalde met zijn Sohu-chip een waardering van vijf miljard dollar met eenzelfde soort belofte.

Eén chip, één model

De prijs van die snelheid is starheid. Een chip die eenmaal gebakken is, zit vast aan het model waarvoor hij is ontworpen. Een update vraagt om het aanpassen van twee metaallagen in het masker, een ander model om nieuw silicium. In een jaar waarin frontier-modellen elkaar om de paar maanden aflossen, is dat een gok. Taalas rekent daar tegenin dat het etsen van een model ongeveer honderd keer minder kost dan het trainen ervan. De chips lijken vooral te passen bij bedrijven die één model jaren achtereen in productie houden, niet bij labs die elk kwartaal wisselen.

Wat dit betekent

AMD probeert Nvidia te omzeilen op het terrein waar het geld inmiddels naartoe stroomt: het draaien van modellen, niet het trainen ervan. Diezelfde beweging zie je elders, van Anthropic dat een eigen chipteam optuigt tot SK Hynix dat 38 miljard in geheugenfabrieken steekt. Voor wie inferentie inkoopt, komt er de komende jaren een optie bij die niet over GPU’s gaat. De vraag wordt dan welk model je zo lang wilt vasthouden dat het loont om het in silicium vast te leggen. Voorlopig moet de deal eerst rond komen; gezamenlijke producten zijn nog niet aangekondigd.