NVIDIA’s TwoTower genereert tekst 2,4 keer sneller

NVIDIA bracht op 1 juli een taalmodel uit dat tekst op een andere manier maakt dan de bekende chatbots. Nemotron-Labs-TwoTower schrijft niet woord voor woord, maar vult blokken tekst tegelijk in en werkt die stap voor stap bij. Volgens NVIDIA levert dat 2,42 keer meer snelheid op dan een vergelijkbaar standaardmodel, terwijl 98,7 procent van de kwaliteit overeind blijft. De kern van de truc: het grootste deel van het model wordt niet opnieuw getraind.

Twee torens, één model

De naam TwoTower verwijst naar de opbouw. Het model bestaat uit twee delen die NVIDIA torens noemt. De context-toren leest de vraag en de al vastgelegde tekst op de klassieke manier van links naar rechts, en blijft tijdens de training bevroren. De denoiser-toren krijgt blokken met ruis en werkt die bij tot leesbare tekst. De twee torens wisselen laag voor laag informatie uit via wat NVIDIA layer-aligned cross-attention noemt.

TwoTower bouwt voort op Nemotron-3-Nano-30B-A3B, een bestaand model met een mix van Mamba-2-, attention- en mixture-of-experts-lagen. Doordat de context-toren bevroren blijft, hoefde NVIDIA alleen de denoiser te trainen, op ongeveer 2,1 biljoen tokens. Het oorspronkelijke basismodel slikte er 25 biljoen. De uitgebrachte versie telt rond de 60 miljard parameters, waarvan er per token zo’n 3 miljard actief zijn. De volledige technische uitleg staat in het paper van NVIDIA en in een analyse van vakblog MarkTechPost.

Sneller schrijven, ander recept

Gewone taalmodellen zoals GPT-5.6 of Claude voorspellen steeds het volgende woord en werken zo de zin af. Dat geeft goede tekst, maar het is traag: elk woord wacht op het vorige. Diffusiemodellen pakken het anders aan. Ze beginnen met een blok ruis en slijpen dat in een paar rondes bij tot tekst, waarbij meerdere posities tegelijk worden ingevuld. Die parallelle aanpak verklaart de snelheidswinst, die NVIDIA mat op twee H100-kaarten.

De keerzijde blijkt uit de cijfers zelf. Op algemene kennis (MMLU) blijft TwoTower vrijwel gelijk aan het basismodel, met 78,24 tegen 78,56 punten. Bij code en wiskunde zakt het verder weg. Op de codetest HumanEval gaat het van 79,27 naar 75,58, op de rekentest GSM8K van 92,49 naar 90,14. Sneller schrijven kost hier dus wat precisie op de lastigste taken.

Open gewichten en drie standen

NVIDIA zet de gewichten online onder de eigen Nemotron Open Model License, met toestemming voor commercieel gebruik. Net als de open gewichten die Mistral deelt, kan iedereen het model downloaden en zelf draaien. Uit één checkpoint komen drie manieren van draaien: volledige diffusie (twee GPU’s, zo’n 59 GB per kaart), een tussenvorm, en de klassieke woord-voor-woord-modus die op één kaart van 80 GB past.

Diffusiemodellen beloven al langer snelheid. Gesloten voorbeelden als Google’s Gemini Diffusion en Mercury van Inception Labs claimden tot tien keer sneller te zijn, maar open varianten bleven in de praktijk vaak achter. Met TwoTower schuift de open kant een stuk op. Dat past in een bredere jacht op goedkopere inferentie, van Chinese modellen die terrein winnen tot chipmakers als SambaNova, die NVIDIA op inferentie proberen bij te benen. Ook bij bestaande modellen draait steeds meer om het besparen van tokens en rekenkosten.

Wat betekent dit

Voor wie modellen zelf draait, is snelheid direct geld: meer tekst per GPU betekent lagere kosten en kortere wachttijden. TwoTower past op plekken waar een vlot antwoord zwaarder weegt dan het laatste procentje nauwkeurigheid, bijvoorbeeld bij samenvatten of herschrijven. Voor programmeerwerk en exacte wiskunde blijft een klassiek model voorlopig veiliger. Interessanter dan dit ene model is misschien het recept erachter: een getraind model versnellen door er een tweede, lichte laag omheen te bouwen in plaats van alles opnieuw te trainen. Werkt dat breder, dan kunnen andere labs hun modellen op dezelfde manier sneller maken zonder de rekening van een volledige training.