DeepSeek V4 en Kimi K3 tonen sporen van NVIDIA Blackwell
3 min. leestijd

DeepSeek V4 en Kimi K3 tonen sporen van NVIDIA Blackwell

De nieuwste open modellen van DeepSeek, Moonshot AI, MiniMax en Ant Group zijn vrijwel zeker opgestart op NVIDIA Blackwell-chips. Zonder Amerikaanse vergunning mogen die chips niet naar China. Dat concludeert Will DePue, oud-onderzoeker bij OpenAI en nu werkzaam bij de non-profit Unemployment Labs, in een rapport dat op 12 november verscheen. TechCrunch en Tom’s Hardware schreven er een dag later over.

Een vingerafdruk in de gewichten

DePue bestudeerde de beginwaarden van de modelgewichten. Bij de start van een training vult PyTorch die met willekeurige getallen en de manier waarop die getallen over de GPU worden verdeeld hangt af van het aantal rekenblokken (streaming multiprocessors) op de chip. Een H100 uit de Hopper-generatie telt er 132, de Blackwell-chips B200 en B300 hebben er 148 en de GB200 en GB300 hebben er 152. Wie de juiste combinatie vindt, kan zo afleiden op welk type hardware een model is opgestart.

Volgens het rapport passen zes modellen van vier labs bij Blackwell: DeepSeek-V4-Flash en V4-Pro, Kimi K3 en K3.1-Pro, MiniMax-M3 en Ling-3.1-flash van Ant Group. Oudere modellen van dezelfde makers, zoals DeepSeek tot en met V3.2 en Kimi K2, vertonen het patroon van Hopper. DePue testte zijn methode op echte H100-, B300-, GB200- en MI300X-systemen. Op een B300 reproduceerde standaard PyTorch 461 van de 469 onderzochte rijen van V4-Flash. Een AMD-chip die zich als Blackwell voordoet, sluit hij voor dat model uit.

Gang in een datacenter met rijen serverkasten in ochtendlicht

Wat het rapport niet bewijst

DePue zelf is voorzichtiger dan sommige koppen. De vingerafdruk laat zien waar de gewichten zijn aangemaakt. Dat ondersteunt een training op Blackwell, maar bewijst die niet: een model kan op het ene systeem worden opgestart en op een ander systeem verder worden getraind. Voor DeepSeek-V4-Flash noemt hij het bewijs sluitend, voor de andere vijf sterk.

Belangrijker is wat de gewichten niet vertellen: van wie de chips waren en waar ze stonden. Blackwell-systemen zijn ook te huur in datacenters buiten China, bijvoorbeeld in Maleisië. Het rapport zegt dus niets over smokkel of het overtreden van exportregels. Zijn schatting van de schaal noemt DePue zelf onzeker: ongeveer 12.000 Blackwell-GPU’s over de vijf grootste trainingsruns, samen goed voor ruim een half miljard dollar aan hardware.

Slechte timing voor NVIDIA

Het rapport verschijnt in een week waarin NVIDIA toch al onder vuur ligt. Jensen Huang stapte op nadat hij een affaire had toegegeven met Alice Huang, topvrouw van Megaspeed. Amerikaanse en Singaporese autoriteiten onderzoeken dat bedrijf. Bloomberg meldde op 13 november dat een aan haar gelieerd bedrijf betrokken was bij het smokkelen van verboden NVIDIA-chips naar een datacenter in Shanghai, schrijft TechCrunch. NVIDIA en Huang zeggen dat medewerkers de datacenters van Megaspeed hebben bezocht en in orde bevonden.

TechCrunch wijst ook op cijfers van Epoch AI: in 2024 en 2025 zouden zo’n twee miljoen geavanceerde chips via omwegen in China terecht zijn gekomen. Eind oktober onderschepte Maleisië AI-chips op een luchthaven, begin november eiste NVIDIA locatietracking van chips in Zuidoost-Azië.

Wat betekent dit

Wie de gewichten van Kimi K3.1 Pro of DeepSeek V4 gebruikt, merkt technisch geen verschil. Politiek ligt dat anders. De Amerikaanse exportregels kijken vooral naar waar chips staan en wie ze bezit, terwijl Chinese labs via gehuurde rekenkracht in het buitenland toch bij de nieuwste hardware lijken te komen. Daardoor klinkt de roep om regels voor het gebruik van chips, en niet alleen voor de export, een stuk luider. Voor NVIDIA, dat nu zonder vaste topman zit, kan dit rapport het onderzoek naar Megaspeed nog verder op scherp zetten.