AMD zet AI-workstation met 576 GB HBM3E op je bureau

AMD opende zijn keynote op IFA in Berlijn op 4 september met een machine die niet in een datacenter thuishoort maar onder een bureau: de Threadripper Halo Station. Het is een vloeistofgekoelde toren die grote taalmodellen volledig lokaal moet draaien, zonder cloudverbinding. AMD noemt het de krachtigste workstation ter wereld en claimt dat er modellen van meer dan duizend miljard parameters op passen.

Wat er in de kast zit

De basis is een Ryzen Threadripper PRO 9995WX met 96 Zen 5-kernen en 192 threads, een boost tot 5,4 GHz en ruimte voor 2 TB aan DDR5-geheugen over acht kanalen. Daarnaast passen er tot vier Instinct MI350P-versnellers in, elk met 144 GB HBM3E. Bij een volledige configuratie komt dat neer op 576 GB snel geheugen. Het prototype dat AMD in Berlijn liet zien had er twee, goed voor 288 GB. Elke MI350P mag tot 600 watt trekken, de processor heeft een standaard-TDP van 350 watt, en dat verklaart waarom zowel de cpu als de accelerators aan een waterkoeling hangen.

Recht tegenover de DGX Station

AMD richt het apparaat expliciet op de DGX Station van NVIDIA en stelt dat de maximale configuratie 3,4 keer zoveel geheugencapaciteit biedt als je RDIMM en HBM3E bij elkaar optelt. NVIDIA kiest een andere architectuur: één B300-gpu en een Grace-processor die via NVLink-C2C een gedeelde geheugenpool van 748 GB aanspreken. Dat verschil in aanpak vertaalt zich vooral naar de vraag hoeveel model je in één keer kwijt kunt.

De software is het gevoelige punt. De Halo Station draait op ROCm, met ondersteuning voor PyTorch, JAX, SGLang en Triton. Voor onderzoekers die hun pijplijn al jaren op CUDA hebben staan, is de afweging niet alleen geheugen tegen geheugen maar ook de tijd die het kost om alles over te zetten. StorageReview wees erop dat AMD geen prijs, geen besteldatum en geen OEM-partners noemde. Implicator rekende voor dat alleen de processor, 2 TB geheugen en twee MI350P-kaarten samen al boven de 100.000 dollar uitkomen. AMD houdt het bij 2027 als leverjaar.

Waarom lokaal weer aantrekkelijk wordt

De doelgroep die AMD noemt bestaat uit AI-onderzoekers, modelontwikkelaars en engineeringteams die met gevoelige datasets werken en die data liever niet naar een externe API sturen. Die beweging speelt breder. NVIDIA presenteerde deze maand nog een manier om thuis-pc’s tot één AI-cluster te koppelen, Anker kwam met MindBase dat AI in huis draait in plaats van in de cloud, en Perplexity houdt bij zijn hybride opzet gevoelige data op de Mac. Tegelijk worden de open modellen die je lokaal wilt draaien steeds groter, van Kimi K3 tot het visiemodel dat DeepSeek onder MIT-licentie vrijgaf. Geheugen is daarbij de harde grens.

Wat betekent dit

Voor de meeste bedrijven verandert er voorlopig weinig. Een machine van boven de ton die pas in 2027 komt, zonder prijskaartje en zonder bekende leveranciers, is geen aankoopbeslissing maar een signaal. AMD zegt hiermee dat de zwaarste AI-experimenten niet per se in de cloud hoeven te blijven, en dat geheugen het argument is waarmee het NVIDIA wil aanvallen. Of dat lukt hangt minder af van de specificaties dan van ROCm. Zolang teams hun code sneller aan de praat krijgen op CUDA, blijft 576 GB een getal op papier.