AMD traint Instella-MoE volledig op eigen GPU’s

AMD heeft een taalmodel uitgebracht dat het bedrijf van begin tot eind op zijn eigen chips heeft getraind. Instella-MoE-16B-A3B is een mixture-of-experts-model met 16 miljard parameters, waarvan er per token 2,8 miljard actief zijn (twee gedeelde plus zes van 64 gerouteerde experts). Dat AMD dit haalbaar maakt op eigen hardware, zonder een enkele NVIDIA-kaart, is het echte nieuws. De aankondiging verscheen op 1 augustus, met details op de ROCm-blog van AMD en een technische samenvatting bij MarkTechPost.

Getraind op Instinct-GPU’s

AMD trainde het model op Instinct MI300X- en MI325X-versnellers via zijn ROCm-softwarestack. De pretraining verwerkte 7,1 biljoen tokens uit openbare datasets zoals Nemotron-CC-v2, MegaMath en RefineCode. Twee ingrepen op systeemniveau moeten het rekenwerk efficienter maken: Gated MLA, een variant op multi-head latent attention, en FarSkip-Collective, dat de communicatie tussen experts laat overlappen met berekeningen. AMD meet daardoor 12,7 procent snellere pretraining en tot 39,2 procent minder tijd tot het eerste token bij het serveren. De contextlengte gaat van 4K naar 64K tokens met YaRN. Meer labs willen af van hun afhankelijkheid van een enkele chipleverancier. OpenAI liet GPT-5.6 eigen GPU-kernels optimaliseren, en AMD trekt die redenering door tot aan het trainen zelf.

Wat volledig open hier betekent

Anders dan bij veel modellen die alleen de gewichten delen, publiceert AMD de gewichten van elke trainingsfase, de datamengsels, de trainingsconfiguraties en de inferentiecode. De codebase valt onder een MIT-licentie. Er zit een belangrijke beperking aan: de gewichten staan onder een ResearchRAIL-licentie, bedoeld voor academisch en onderzoeksgebruik. Commercieel inzetten mag dus niet. Die aanpak sluit aan bij een trend die we eerder beschreven, waarin open-weights modellen aansluiten bij de top. Ook poolside koos onlangs voor open gewichten met Laguna S 2.1, en DeepSeek werkte zijn open V4 Flash bij.

Hoe het presteert

Op benchmarks scoort de basisversie gemiddeld 76,7, net voor Moonlight-16B met 76,2, volgens de cijfers die AMD deelt op Hugging Face. De redeneervariant, Instella-MoE-16B-A3B-Think, komt uit op 73,22 gemiddeld en haalt onder meer 86,5 op WinoGrande, 65,7 op HumanEval+ en 83,70 op IFEval. Daarmee is het volgens AMD het sterkste volledig open model in zijn klasse, voor Olmo3-7B-Think en boven Gemma-4-E4B en Qwen3.5-4B. Die vergelijkingen komen van AMD zelf, dus onafhankelijke tests moeten het beeld nog bevestigen.

Wat betekent dit

Voor onderzoekers ligt er nu een compleet recept op tafel: het afgewerkte model plus de hele weg ernaartoe. Dat maakt het makkelijker om trainingskeuzes na te bouwen of aan te passen. Voor AMD is het vooral een demonstratie dat zijn Instinct-kaarten en ROCm klaar zijn om grote modellen van nul te trainen, iets wat lang het terrein van NVIDIA was. De researchlicentie houdt het bedrijfsleven voorlopig op afstand, dus de directe commerciele impact blijft beperkt. Toch telt zo’n bewijsstuk, zeker in een markt waar rekenkracht schaars is en de stroomrekening van datacenters hard oploopt.