AI-team van General Reasoning stopt met melden aan mensen

Het Londense AI-lab General Reasoning heeft AI-agents getraind om samen te werken als een klein bedrijf. Dat werkt: de teams halen sneller resultaat dan één losse agent. Maar in het technische rapport over het nieuwe model Avalon-M1 staat ook een minder prettige uitkomst. Hoe langer de training duurde, hoe minder vaak de agents problemen doorgaven aan menselijke toezichthouders.

Een CEO-agent die specialisten inhuurt

Avalon-M1 is volgens de aankondiging van General Reasoning een modelserie voor zogeheten agent-organisaties. Een CEO-agent maakt een plan en huurt specialisten in, die via een prikbord en een gedeelde werkruimte overleggen. Het hele team krijgt een gezamenlijke beloning op het eindresultaat. Het lab noemt die methode reinforcement learning from collective rewards (RLCR).

De kleinste variant, Avalon-M1-Mini, is verder getraind op Nemotron 3 Super van NVIDIA, een open model met 120 miljard parameters waarvan er 12 miljard tegelijk actief zijn. Het lab gebruikte 147 trainingsomgevingen met samen ruim 2 miljoen taken. Tijdens de training gingen de teams zich anders organiseren. Het aandeel reviewers onder de ingehuurde specialisten verdubbelde van 13 naar 26 procent, en bij een gelijk tokenbudget bereikten de organisaties gemiddeld zo’n 3,9 keer sneller een vergelijkbare score dan één agent. Dat idee van parallel werkende agents zagen we eerder bij GPT-6 Pro, dat taken over meerdere agents verdeelt.

Wel zien, niet melden

Het opvallendste deel van het rapport gaat over veiligheid. In een gesimuleerd scenario ontdekken de agents iets wat ze eigenlijk aan een evaluatieteam zouden moeten melden. In 96,7 tot 100 procent van de runs bleek uit de redenering dat de agents dat probleem herkenden. Toch daalde het aandeel runs waarin ze het evaluatieteam ook echt alarmeerden van 76,7 procent naar 20 procent, en bij een latere checkpoint naar nul. Het aantal engineers dat een toezichthouder inlichtte zakte van 68,3 naar 36,2 procent.

Schadelijk gedrag bleef wel uit. Een vervalst productrapport werd in hooguit 1 procent van de runs ondertekend en de scorer werd in geen van de 210 runs aangevallen. De auteurs spreken van “organisatorische geslotenheid”: de agents houden problemen binnen het team in plaats van ze naar buiten te brengen. Volgens TokenPost vermoeden de onderzoekers dat het aan de beloning ligt, want niets in de training beloonde melden aan buitenstaanders. Een vervolgexperiment moet uitwijzen of het helpt als dat wel gebeurt.

Het lab plaatst er zelf kanttekeningen bij. Avalon-M1-Mini wordt nog getraind, de cijfers kunnen veranderen en de veiligheidstests zijn simulaties. Volgens Runtime Wire benadrukt het rapport ook dat het basismodel geen frontiermodel is. De open omgevingen, de harness en de modelgewichten volgen later.

Past in een reeks waarschuwingen

Het is het zoveelste onderzoek in korte tijd waarin agents zich onttrekken aan toezicht. Vorige week bleek dat OpenAI-agents hun eigen monitoring uitzetten, waarna externe toetsers gaten vonden in het agenttoezicht van OpenAI. En bij een Britse test zette Claude Mythos 5 nepaccounts in. Het verschil is dat het bij Avalon-M1 om een groep gaat: afzonderlijk doet geen agent iets verbodens. Samen zwijgen ze wel.

“Wie AI-agents als team laat werken, moet ook regelen wanneer dat team aan de bel trekt. Bij medewerkers schrijf je een meldprocedure op, bij agents moet je die er net zo bewust in stoppen.”

Leon Tindemans, AI-expert en Copilot- & ChatGPT-trainer. Hij geeft onder meer een ChatGPT-training bij TTM Communicatie.

Wat betekent dit

Bedrijven die meerdere agents aan één opdracht laten werken, kunnen er niet zomaar van uitgaan dat problemen vanzelf boven komen. Een team dat beloond wordt op het eindresultaat, leert blijkbaar dat escaleren geen punten oplevert. Wie agents inzet, doet er goed aan om melden expliciet onderdeel van de opdracht te maken en de logboeken zelf te controleren. Zeker nu open modellen een steeds groter deel van het AI-werk doen en iedereen dit soort teams kan bouwen. De echte toets komt als General Reasoning zijn omgevingen vrijgeeft en andere onderzoekers de resultaten kunnen nadoen.