MiniMax maakt lange context tot 15x sneller

Het Chinese AI-lab MiniMax heeft de techniek achter zijn nieuwste taalmodel opengelegd. In een technisch rapport op arXiv (paper 2606.13392) beschrijven de onderzoekers MiniMax Sparse Attention, kortweg MSA, het aandachtsmechanisme dat sinds de release van M3 op 1 juni draait. De kern van het verhaal is simpel: lange teksten verwerken hoeft niet meer zoveel rekenkracht te kosten.

Hoe MSA de aandacht versmalt

Klassieke aandacht laat elk woord naar elk ander woord kijken. Bij een context van een miljoen tokens loopt die rekensom hard op, want de kosten groeien kwadratisch. MSA pakt het anders aan. Het bouwt voort op Grouped Query Attention en voegt een lichte Index Branch toe die blokken van sleutel-waardeparen scoort. Per groep kiest het model alleen de top-k meest relevante blokken, waarna de hoofdtak exact rekent over enkel die selectie. Volgens een analyse van MarkTechPost houdt MiniMax zo de kwaliteit van volledige aandacht vast terwijl het de meeste blokken overslaat.

Wat de cijfers laten zien

In het rapport meet MiniMax op een model van 109 miljard parameters met multimodale training. Daar ligt de rekenlast per token voor aandacht bij een context van 1 miljoen tokens 28,4 keer lager dan bij gewone GQA, terwijl de scores gelijk blijven. Vergeleken met voorganger M2 noemt het lab meer dan 9 keer snellere prefill en meer dan 15 keer snellere decoding bij een miljoen tokens. Met een bijpassende kernel komt dat in de praktijk neer op 14,2 keer snellere prefill en 7,6 keer snellere decoding in wandkloktijd. VentureBeat tekende eerder de teaser-cijfers op van 9,7 keer bij prefill en 15,6 keer bij decoding.

Waarom MiniMax eerst voor volledige aandacht koos

Bij M2 ging het lab nog bewust terug naar klassieke, volledige aandacht. Goedkopere varianten zoals Lightning Attention of een schuivend venster bleken het redeneren over lange documenten te beschadigen, schrijft MiniMax in zijn eigen documentatie. Het model verloor dan de draad bij vragen die losse aanwijzingen door een hele tekst moeten verbinden. MSA probeert dat te omzeilen door de zachte, expressieve softmax te behouden en alleen de selectie van blokken te versmallen. Het is dus geen gok op lineaire aandacht, maar een tussenweg die de redeneerkracht intact wil laten.

Wat betekent dit

Goedkopere lange context raakt direct aan de kosten van AI. Wie agents bouwt die hele codebases of dossiers inlezen, betaalt vooral voor tokens en latency, zoals eerder bleek bij de financieringsronde van inferencebedrijf DeepInfra. Een model dat hetzelfde werk doet tegen een fractie van de rekenkracht verschuift die rekening. MiniMax zet daarmee druk op andere open modellen, van GLM-5.2 tot Gemma 4, en op de gesloten frontier-modellen die de strijd om agentic coding voeren, van Claude Fable 5 tot Microsoft’s MAI-Code-1-Flash. Of MSA buiten de eigen benchmarks van MiniMax standhoudt, moet onafhankelijk testwerk nog uitwijzen. De open weights en het bijbehorende rapport maken die controle in elk geval mogelijk.