DeepSeek maakt inferentie-engine DeepInfer open source
DeepSeek heeft DeepInfer vrijgegeven, de software waarmee het Chinese AI-lab zijn eigen modellen in productie draait. Het bedrijf maakte de release dinsdag 20 oktober bekend op X en zette de code onder de Apache 2.0-licentie op GitHub. Opvallend detail: naast Nvidia-chips ondersteunt de engine officieel ook de Ascend 950 van Huawei.
Wat DeepInfer precies is
Een inferentie-engine is het stuk software dat een getraind taalmodel daadwerkelijk laat antwoorden op verzoeken van gebruikers. Volgens SiliconANGLE werkt DeepInfer voorlopig alleen met DeepSeek-V4.1-Flash, en standaard laadt het de versie 1017 die vorige week uitkwam. Over dat model schreven we eerder dat DeepSeek V4.1-Flash-1017 77 procent haalt op DeepSWE.
De basis is vLLM, een veelgebruikt open-sourceproject voor het serveren van modellen. DeepSeek voegde daar eigen onderdelen aan toe die het eerder al los publiceerde, zoals FlashMLA, DeepGEMM en DeepEP. Tegelijk verscheen deepseek-recipe, een bibliotheek die tekst op precies dezelfde manier in tokens omzet als de officiële DeepSeek-API. Zelf gehoste installaties moeten zich daardoor hetzelfde gedragen als de dienst van DeepSeek zelf, meldt The Decoder.
De technische trucs
DeepSeek publiceerde ook cijfers, al komen die allemaal van het bedrijf zelf. Voor speculatieve decodering gebruikt DeepInfer een klein draft-model dat telkens vijf tokens voorstelt. Een aparte voorspeller schat in welke daarvan het grote model zal accepteren. Dat scheelt ongeveer 30 procent aan te controleren tokens per stap en levert onder productiebelasting 4 tot 7 procent meer doorvoer op. Bij het verwerken van de prompt gaan alleen de laatste 128 tokens door de decoderlagen, waardoor de rekenlast van die fase bijna halveert.
Er ontbreekt wel het een en ander. De code voor KV-cachebeheer en load balancing blijft intern, omdat die volgens DeepSeek te sterk verweven is met de eigen infrastructuur. Het splitsen van prompt-verwerking en tekstgeneratie over aparte machines laat het bedrijf aan de gebruiker over. De kleinste efficiënte opstelling die DeepSeek noemt, telt 64 GPU’s voor elk van die twee taken.
Huawei krijgt dezelfde status als Nvidia
DeepInfer ondersteunt twee hardwareplatforms: Nvidia-chips met de SM100-architectuur (Blackwell) en Huawei Ascend 950. Oudere Nvidia-generaties zoals Hopper staan niet op de lijst. The New Stack kopte dat Huawei hiermee “equal billing” krijgt naast Nvidia. Helemaal gelijk is het niet: alle gepubliceerde benchmarks zijn op Nvidia-hardware gedraaid, en de functies die bij elke run identieke uitvoer garanderen werken alleen daar.
De richting is wel duidelijk. Bloomberg meldde in september dat DeepSeek minstens 160.000 Ascend 950DT-chips wil plaatsen in een nieuw datacenter in Binnen-Mongolië. Dat past bij wat we eerder zagen: Nvidia zakt in China naar 34 procent terwijl Huawei oprukt.
De timing valt ook op. Een dag eerder droeg het Amerikaanse ministerie van Binnenlandse Veiligheid federale civiele instanties op om DeepSeek-producten te verwijderen, zoals we meldden in VS haalt DeepSeek uit alle civiele overheidssystemen. SiliconANGLE noemt dat als achtergrond, maar legt geen direct verband met de release.
Wat betekent dit
In april 2025 hield DeepSeek zijn engine nog binnen. Het bedrijf zei toen dat het onderhouden van een groot open-sourceproject te veel was voor “a small research team focused on developing better models”. Nu gaat de code toch naar buiten, met de belofte dat ook code voor toekomstige modellen in dezelfde repository komt. DeepSeek zegt dat het de community wil helpen “lower compute costs, reduce energy use, and make AI more affordable”.
Voor bedrijven die open modellen zelf willen draaien, is dit vooral interessant als blauwdruk. Wie al met andere routes naar goedkopere inferentie bezig is, zoals Amazon met PyTorch op Trainium, ziet dezelfde strijd: de kosten per token zijn het nieuwe slagveld. Dat Huawei daarbij officieel in de documentatie staat, zal in Washington niet onopgemerkt blijven.
