Stanford perst hele documentarchieven in 16 tokens voor AI
3 min. leestijd

Stanford perst hele documentarchieven in 16 tokens voor AI

Onderzoekers van Stanford University hebben Memorilla vrijgegeven, een geheugenmodule voor taalmodellen. Het systeem vat een complete verzameling documenten per vraag samen in slechts 16 zogeheten geheugentokens. Het taalmodel zelf hoeft daarvoor niet opnieuw getraind te worden. Sinds deze week staat de code openbaar op GitHub, zo meldde MarkTechPost op 14 november.

Hoe Memorilla werkt

Het werk komt uit de groep van Jure Leskovec. Volgens het onderzoeksartikel op arXiv pakt Memorilla een bekend probleem aan. Een taalmodel kan alleen iets met oude gesprekken, lange rapporten of eerdere stappen van een agent als die informatie in het contextvenster staat. Wie alles meestuurt, krijgt een enorme prompt. Wie selecteert, loopt het risico dat net het juiste stuk ontbreekt.

Memorilla kiest een derde route. Een bevroren encoder zet elk document één keer om in een embedding. Komt er een vraag binnen, dan leest een kleine getrainde module die vraag plus de hele opslag en maakt daar 16 geheugentokens van. Die tokens gaan rechtstreeks de invoer van het taalmodel in, waar ze gelezen worden alsof het woorden zijn. In de proeven was dat een bevroren Qwen3-8B; alleen de geheugenmodule werd getraind.

Stille universiteitsbibliotheek met houten tafels, notitieboeken en een laptop in avondlicht

Beter dan alles in de prompt stoppen

De resultaten op de projectpagina van Stanford zijn opvallend. Op de feitencheck-benchmark FactKG haalt Qwen3-8B met Memorilla 84,33 procent nauwkeurigheid, tegen 80,43 procent met alle documenten in de context. Bij NarrativeQA vervangen de 16 tokens maar liefst 67.385 documenttokens. Over alle taken gemeten gaat het om 394 keer minder tokens en een antwoord over 512 documenten kost op één H100-kaart 0,74 seconde in plaats van 19,9 seconde bij volledige context.

Op vijf van de acht benchmarks scoort Memorilla beter dan de geteste alternatieven, waaronder MemoRAG en xRAG. Twee keer verliest het wel: bij PubMedQA haalt het 59 procent, terwijl LLMLingua-2 op 69 procent uitkomt.

Ook voor agents werkt het. In de tekstgame TextWorld steeg het gemiddelde slagingspercentage van 18,6 naar 24,2 procent, omdat de agent minder vaak terugliep naar kamers die hij al had bezocht. Dat sluit aan bij de trend van AI-agents die maanden achter elkaar doorwerken en dus veel moeten onthouden.

De beperkingen

De onderzoekers zijn er zelf open over. Zestien tokens is weinig, waardoor details als exacte namen soms verloren gaan. Klassieke zoektechniek (RAG) wint nog bij vragen waarvan het antwoord letterlijk in de tekst staat. Ook schrijft Memorilla direct in de invoerlaag van het model. Dat kan alleen bij open modellen en voor elk model moet je een eigen module trainen. Getest is het tot nu toe enkel met Qwen-modellen en alleen op tekst.

Wat betekent dit

Lange contextvensters zijn duur en traag, zeker op eigen hardware. Een compact geheugen zoals Memorilla kan open modellen bruikbaarder maken voor wie lokaal draait, bijvoorbeeld met llama.cpp 1.0 of op een laptop zoals bij het 145B-model van Edge0. Omdat de proeven op Qwen draaiden, ligt een koppeling met nieuwe versies als Qwen4-Max voor de hand, al is dat nog niet getest. Voorlopig is het onderzoekscode. Of de aanpak ook buiten het lab overeind blijft, moeten onafhankelijke tests nog uitwijzen.