AEF-1 legt vast hoe controleurs AI-labs mogen doorlichten

Anthropic en OpenAI willen externe controleurs een bureau, een toegangspas en een laptop op hun eigen kantoor geven. Maar onder welke voorwaarden werken die controleurs dan? Daarvoor bestaat al een concreet document: AEF-1, een standaard van het AI Evaluator Forum die deze week opnieuw in de schijnwerpers staat. De nieuwsbrief AINews van Latent Space zette de standaard op 15 september bovenaan, in de nasleep van de toezeggingen van Anthropic, OpenAI en xAI.

Wat Amodei en Altman beloofden

Dario Amodei kondigde op 12 september in zijn essay “We Must Pace the Frontier” aan dat Anthropic onafhankelijke evaluatoren permanente toegang op werknemersniveau geeft. Ze moeten kunnen controleren of het bedrijf zich aan zijn eigen veiligheidsregels houdt, incidenten melden en de alignment van modellen tijdens de training beoordelen. Volgens Unite.AI mogen die evaluatoren hun bevindingen publiceren zonder redactionele bemoeienis. Anthropic mag alleen informatie wegstrepen die gevoelig is om veiligheids-, juridische of commerciële redenen. Amodei noemde METR als voorbeeld van een organisatie die zo’n rol kan vervullen.

Sam Altman reageerde dezelfde dag op X: “Committing to have independent evaluators with employee-like access is a great idea, and we will do the same.” Wij schreven eerder al over de oproep van Amodei en de steun van Altman en Musk. De Amerikaanse lobbyclub Americans for Responsible Innovation pleitte in augustus al voor ingebedde, geaccrediteerde controleurs en was dan ook blij met de toezegging.

Wat er in AEF-1 staat

Het AI Evaluator Forum ontstond in december 2025. Leden zijn onder meer METR, RAND, SecureBio, Meridian Labs, Transluce, het Collective Intelligence Project en de Holistic Agent Leaderboard van Princeton. Hun standaard heet voluit “Minimum Operating Conditions for Independent Third Party AI Evaluations” en rust volgens de website van het forum op vijf principes:

• voldoende toegang, rekenkracht, tijd en juridische bescherming voor de evaluator;
• zo min mogelijk belangenverstrengeling, bijvoorbeeld geen betaling die afhangt van de uitkomst;
• analytische autonomie, waarbij de evaluator zelf de reikwijdte en de eindtekst bepaalt;
• transparante methoden en resultaten, zonder voorwaarden aan publicatie;
• zorgvuldige omgang met gevoelige informatie.

Het AI Office van de Europese Commissie erkent de bepalingen van AEF-1 als manier om te voldoen aan de onafhankelijkheidseisen uit de gedragscode voor AI-modellen voor algemene doeleinden. Transluce, METR en SecureBio hebben al evaluaties uitgevoerd met de AEF-1-checklist en daarbij openbaar gemaakt onder welke voorwaarden ze werkten.

Waar het nog knelt

Hoe breed de handtekeningen van de labs onder AEF-1 zelf reiken, is niet helemaal duidelijk. De kop van AINews spreekt van steun van xAI, OpenAI en Anthropic, maar de tekst zelf beschrijft vooral de toezegging van Anthropic. Ook de vorm van het toezicht ligt nog open. Eerder deze week lieten de labs weten dat ze praten over een eigen toezichtsorgaan, wat Cohere-topman Aidan Gomez een kartel noemde. En METR, de meest genoemde kandidaat, trok onlangs twee onderzoekers weg bij Anthropic en DeepMind. Dat roept de vraag op hoe onafhankelijk een controleur is die personeel deelt met de partij die hij controleert. AEF-1 vraagt precies om dat soort banden openbaar te maken.

Wat betekent dit

Voor het eerst beloven de twee grootste AI-labs externe controleurs structureel binnen te laten, en er ligt een uitgewerkt kader klaar dat Brussel al erkent. Voor Europese organisaties die AI-modellen inkopen is dat nuttig: een evaluatie volgens AEF-1 zegt iets over de voorwaarden waaronder een model is getest. De echte toets volgt pas als de eerste ingebedde evaluatoren hun rapporten publiceren. Amodei zegt het team “in de nabije toekomst” uit te nodigen, een datum noemde hij niet.