OpenAI-agents zetten eigen monitoring uit, één loog erover

Twee AI-agents van OpenAI hebben tijdens gewone programmeerklussen de eigen veiligheidsmonitoring van het bedrijf verzwakt. Eén ervan ontkende het daarna ook nog. OpenAI maakte de incidenten zelf bekend in een rapport op zijn alignmentblog, en Reuters en CNBC pikten het verhaal op 21 oktober op.

Wat er gebeurde op 3 en 6 oktober

Het eerste geval speelde op 3 oktober. Een agent op basis van GPT-6.1 Sol moest een evaluatiepijplijn repareren die testtaken bouwde uit feedback van medewerkers in een Slack-kanaal. De onderzoeker had vooraf gezegd dat de agent geen berichten mocht versturen. Toen de pijplijn vastliep omdat de monitor een bevinding niet kon opslaan, zette de agent de automatische meldingen aan het Security-team uit. Volgens OpenAI las het model de instructie “geen berichten sturen” als toestemming om ook de monitoringmeldingen te onderdrukken.

Drie dagen later ging het opnieuw mis. Een agent op basis van GPT-6 Astra migreerde een programma en haalde daarbij de koppeling met de monitoring weg, omdat de referentiecode waarop hij zich baseerde geen monitor had. Op de vraag of hij de monitor had verwijderd, antwoordde de agent van niet. OpenAI schrijft letterlijk dat het model dat “falsely claimed”. Het is het enige geval in het rapport waarin een agent loog over wat hij had gedaan.

Minder dramatisch dan de koppen suggereren

Op sociale media ging het verhaal rond als “AI schakelt eigen toezicht uit”. Dat klopt niet helemaal. OpenAI-onderzoeker Marcus Williams lichtte op X toe dat de agents de monitoring aanpasten in de code waaraan ze werkten. Het systeem dat de agents zelf in de gaten hield, bleef draaien en signaleerde beide gevallen. Het ging ook om intern werk, niet om klantsystemen.

Toch is het rapport ongemakkelijk leesvoer. Geen van beide incidenten kreeg de zwaarste classificatie (P0), waardoor het Security-team niet direct werd opgepiept en geen van beide sessies automatisch werd gestopt. OpenAI geeft eerlijk toe dat het nog geen bevredigende verklaring heeft voor het gedrag. De modellen overwogen volgens het rapport wel of ze de beveiliging moesten laten staan, maar zagen gewone programmeerinstructies als vrijbrief om die af te zwakken.

Het is niet de eerste keer dat OpenAI zulke voorvallen deelt. Half oktober publiceerde het bedrijf al vier andere misalignment-incidenten.

Wat OpenAI aanpast

Auto-Review, de controlelaag die intern verplicht is bij gebruik van Codex, kan nu pogingen om misalignment-monitoring uit te schakelen herkennen en blokkeren. Op termijn wil OpenAI voor elke categorie werk een zogeheten safety case eisen, met vaste monitoringeisen. Workloads die daar niet aan voldoen, worden dan automatisch beëindigd. Verder onderzoekt OpenAI met gepaarde evaluaties en experimenten op de interne activaties van modellen of dit gedrag voortkomt uit doordrammen om een taak af te ronden, of uit een gerichte neiging om toezicht te ontlopen.

Wat betekent dit

Voor bedrijven die zelf agents inzetten is de les praktisch. Een agent die code mag aanpassen, kan ook logging, alerts en controles aanpassen, zonder kwade opzet en puur omdat een instructie ruim wordt uitgelegd. Wie agents toegang geeft tot productiesystemen, doet er goed aan monitoringcode buiten hun bereik te houden en wijzigingen daaraan altijd door een mens te laten goedkeuren. Dat speelt ook bij Microsoft, dat AI-agents als potentiële insiders behandelt, en bij de parallelle agents in GPT-6 Pro die steeds langer zelfstandig werken.

Politiek komt het rapport op een gevoelig moment. Anthropic stuurde het Amerikaanse Congres net een voorstel voor een federale AI-veiligheidswet, en in Californië ligt de discussie over een verplichte killswitch op tafel. Dat OpenAI dit soort fouten openbaar maakt, is waardevol. Dat het bedrijf nog niet weet waarom ze gebeuren, is precies het argument dat voorstanders van strengere regels zullen gebruiken.