Qwen3.8-Flash-Next geeft alvast een blik op Qwen4
Het Qwen-team van Alibaba heeft Qwen3.8-Flash-Next vrijgegeven, een open-weight model dat vooral bedoeld is om de architectuur van de volgende generatie alvast te laten zien. De gewichten liggen er, de flagship nog niet. TechNode en Decrypt beschreven de release van 26 augustus als een preview van wat Qwen4 moet worden, waarbij ontwikkelaars hun tooling kunnen aanpassen voordat het echte topmodel arriveert.
125 miljard parameters, 6 miljard actief
Volgens de technische bespreking van MarkTechPost telt het model 125 miljard parameters in de backbone, met daarnaast een N-gram-embeddingtabel van 51 miljard en een module voor multi-token predictie van 4 miljard. Op schijf komt dat neer op ongeveer 180 miljard gewichten. Per token vuurt het model er maar 6 miljard van af. De mixture-of-experts-opzet heeft 512 experts, waarvan tien gerouteerde plus één gedeelde expert per token meedoen.
De contextlengte is 262.144 tokens, met YaRN op te rekken naar een miljoen. Er zijn twee checkpoints: FP8 van 172,78 GiB en BF16 van 335,28 GiB. Dat past niet op een werkstation. Voor FP8 adviseert Qwen minimaal tensor parallelism 2 op een NVIDIA GB300, met TP4 als aanbevolen configuratie.
Vier ingrepen onder de motorkap
De architectuur draait om vier veranderingen. Drie van elke vier lagen gebruiken Gated DeltaNet, de vierde laag draait Qwen Sparse Attention met een lichte indexer die context op microblok-niveau selecteert, met een budget van 512 blokken of 2.048 tokens. De residual stream splitst in vier parallelle takken met gates. Op laag twee zit een opzoektabel van twintig miljoen bigrammen en trigrammen, die naar het hostgeheugen kan worden weggeschreven. En bij het trainen gebruikt Qwen de Muon-optimizer naast AdamW, zonder batch-size warmup.
De opbrengst zit in de kosten. Qwen zegt dat trainen ongeveer een negende kostte van Qwen3.7-Plus. Voor het draaien noemt het team versnellingen tot 7,6 keer bij prefill en 4,9 keer bij decode op een miljoen tokens, cijfers van de maker zelf. Op benchmarks meldt Qwen 58,7 op DeepSWE 1.1, 62,5 op SWE-bench Pro en 91,9 op LiveCodeBench v6. Onafhankelijke metingen ontbreken nog, net als bij de eerste cijfers rond DeepSeek V4 Pro.
Licentie wijkt af van eerdere releases
Het model valt onder qwen-community-1.0 en dus niet onder Apache 2.0. Dat verschilt van Qwen3.8-27B, dat wel onder Apache 2.0 verscheen, en het sluit aan bij de koers waarin Alibaba een omzetdeel wil van grote commerciële gebruikers. Draaien kan via vLLM, SGLang, llama.cpp en transformers; finetunen via Unsloth, Swift en LLaMA-Factory. Decrypt schreef dat de gewichten op het moment van publiceren nog niet op ModelScope stonden.
Bij concurrenten loopt het anders. IBM koos deze week wel voor Apache 2.0 bij Granite 4.2, terwijl Alibaba zijn videomodel Wan3.0 juist dicht hield. Het bedrijf kiest per model een ander regime.
Wat betekent dit
Architectuur eerst, model later: dat is de opvallende zet. Wie servers, quantisatietools of inferentiepipelines bouwt, kan nu al zien welke aannames straks sneuvelen. Gated DeltaNet en sparse attention vragen andere kernels dan een klassieke transformer, en dat werk kost weken. Voor Nederlandse teams die zelf modellen draaien, is dit een moment om de stack te testen in plaats van te wachten. Voor iedereen die alleen via een API afneemt, verandert er voorlopig weinig, behalve dat de prijs per token verder onder druk komt te staan.
