DeepMind laat AI-agents oefenen op hun eigen zoekgeschiedenis

Onderzoekers van Google en DeepMind hebben een methode gepubliceerd die AI-agents beter laat zoeken zonder het model zelf aan te passen. Dream-RSI, sinds 14 september op arXiv, bewaart alle pogingen die een agent tijdens een opdracht doet en gebruikt die opslag daarna als oefenterrein. The Decoder en VentureBeat schreven er vandaag over.

Herhalen zonder opnieuw rekenen

Een discovery-agent die een optimalisatieprobleem kraakt, doet honderden of duizenden pogingen. Elke poging kost een modelaanroep, en die aanroepen vormen het leeuwendeel van de rekening. Dream-RSI legt die pogingen vast in wat de onderzoekers een historische zoekboom noemen. Daarna kan het systeem in die boom nagaan wat er zou zijn gebeurd bij een andere volgorde, bij eerder afhaken of bij het parallel uitproberen van meerdere routes. De uitkomsten liggen er al, dus die simulaties kosten vrijwel niets.

De agent bedenkt zo duizenden varianten van zijn eigen zoekstrategie, scoort ze op kwaliteit en kosten, en gaat met de beste variant de volgende echte ronde in. Het model blijft ongemoeid, alleen de manier van zoeken verandert. Dat is een ander soort zelfverbetering dan het hertrainen waar de term recursive self-improvement meestal naar verwijst.

Wat de cijfers laten zien

De tests draaiden op drie soorten taken: wiskundige optimalisatie over zes datasets, een lasso-achtig ontdekkingsprobleem en het schrijven van GPU-kernels voor onder meer VGG16 en LayerNorm. Met Gemini 3.1 Pro zakte het aantal pogingen bij een optimalisatietaak van 550 naar 317, terwijl de looptijd daalde van 3.587 naar 2.931 milliseconden. Bij Gemini 3.7 Flash ging het van 3.200 naar 1.879 pogingen. Op de GPU-kernels had de methode 1,44 tot 2,43 keer minder generaties nodig, of leverde binnen hetzelfde budget 2,09 keer betere prestaties.

Het meest geciteerde getal is de vergelijking met SimpleTES, een bestaand ontdekkingssysteem dat op gpt-oss-120b draait. Waar dat systeem 51.200 runs nodig had, kwam Dream-RSI met 317 pogingen tot hetzelfde of beter, een factor 162. De code staat publiek op GitHub.

Waar het misgaat

De onderzoekers noemen zelf een valkuil. Wie uit de zoekgeschiedenis harde instructies destilleert, snoert de agent te veel in: de zoekruimte wordt dan zo smal dat bredere benaderingen buiten beeld raken. De winst zit in het aanpassen van de zoekstrategie, niet in het opschrijven van regels.

Verder gaat het om zelfgerapporteerde resultaten uit een preprint, zonder externe review. Benchmarkscores van labs over hun eigen methodes verdienen hun gebruikelijke korreltje zout, iets wat ook speelde bij nieuwe codeerbenchmarks eerder deze maand.

Wat betekent dit

Voor bedrijven die agents op onderzoeks- of optimalisatiewerk zetten, is de kostenkant het interessantst. Die loops verbranden tokens in stilte, en de prijs van rekenkracht blijft een gevoelig punt, zoals de discussie rond compute-prijzen liet zien. Een methode die dezelfde uitkomst haalt met een fractie van de aanroepen, maakt die rekensom anders.

Inhoudelijk past het in een lijn die dit jaar zichtbaarder wordt: AI-systemen die hun eigen onderzoekswerk versnellen, van Claude dat een kwart van Anthropics R&D aanstuurt tot Gemini dat zelfstandig kwetsbaarheden vindt. Dream-RSI verlegt geen grens in ruwe modelkracht, maar laat zien hoeveel er nog te winnen valt in hoe agents hun werk organiseren.