NVIDIA haalt 100 procent op ARC-AGI-3 met Claude Opus 5
NVIDIA meldde op 21 augustus dat zijn agentsysteem AVO alle 183 levels van de publieke ARC-AGI-3-set uitspeelde, met een score van 100,00 RHAE. Onder de motorkap draait Claude Opus 5, een model dat op datzelfde testpakket in zijn eentje rond de 30 procent blijft steken. Het verschil zit in de laag eromheen.
Wat AVO precies doet
AVO staat voor Agentic Variation Operators. NVIDIA presenteerde het eind maart 2026 als een algemeen inzetbaar coding-agentsysteem en liet het nu los op de redeneertest van de ARC Prize Foundation. In de technische blogpost van NVIDIA staat dat AVO de 25 publieke omgevingen afwerkte in 6.624 acties. VISTA, tot dat moment de hoogste scorer, had er 7.542 nodig, ongeveer 12 procent meer.
Twee onderdelen dragen het systeem. Er is een persistent geheugen dat eerdere pogingen en uitkomsten meeneemt, zodat de agent niet telkens hetzelfde pad opnieuw aftast. En er is een supervisorlaag die de bredere gang van zaken volgt en bijstuurt zodra de voortgang stokt. In plaats van vaste mutatie- en kruisingsregels laat AVO codeeragents zelf voorstellen doen, repareren en verifiëren, met de bestaande lijn aan pogingen en de uitvoeringsfeedback als houvast.
Het model is niet de hele agent
Die conclusie trekt NVIDIA zelf in de blogpost, en The New Stack zette de cijfers er scherp naast: 30 procent voor Claude Opus 5 solo, 100 procent voor hetzelfde model binnen AVO. Voor wie modellen vergelijkt via losse scorelijstjes is dat lastig te verwerken. De score meet hier vooral de architectuur eromheen, niet de ruwe capaciteit van het model.
ARC-AGI-3 is opgezet als interactieve test. Een agent belandt in een onbekende spelomgeving en moet zelf uitzoeken welke regels gelden. Juist daar helpt structuur: onthouden wat al mislukt is, opnieuw proberen, corrigeren. Het gaat bovendien om de publieke set. Die is bedoeld om op te ontwikkelen, waardoor een perfecte score er minder zegt dan op een afgeschermde evaluatieset. Dat benchmarks zelf aan herziening toe zijn, ziet ook de markt: Vals AI haalde onlangs 40 miljoen dollar op voor eerlijker AI-tests.
Dezelfde aanpak op GPU-code
NVIDIA zet AVO ook in voor iets prozaïschers. Volgens de blogpost verkende het systeem in zeven dagen ruim 500 optimalisatierichtingen voor GPU-kernels op DGX B200-machines. Het resultaat kwam tot 3,5 procent boven cuDNN uit en tot 10,5 procent boven FlashAttention-4. Dat is klein in procenten en groot in stroomverbruik, gezien de schaal waarop die kernels draaien.
Het past in een bredere lijn bij het bedrijf, dat eerder al een agentframework uitbracht waarmee een AI-agent één Python-klasse wordt. De aandacht verschuift van modelgewichten naar de omhulling.
Wat betekent dit
Wie een AI-agent bouwt, kiest nu niet meer alleen een model. Geheugen, toezicht en een terugkoppellus bepalen minstens zo sterk wat er uit de doos komt. Dat sluit aan bij wat andere partijen deze week lieten zien, van Alibaba’s Qwen-UI-Agent die schermen bedient tot Claude die eiwitbinders ontwierp die in het lab bleken te werken.
Tegelijk maakt deze score het vergelijken van modellen er niet makkelijker op. Een cijfer zonder vermelding van de harnas eromheen zegt weinig, zoals eerder al bleek bij de agentische benchmarks van Sol. De vraag voor bedrijven verschuift daarmee van welk model is het beste naar welk systeem past bij mijn taak.
