OpenAI meldt vier nieuwe gevallen van ontspoorde modellen

OpenAI heeft op 15 oktober vier nieuwe incidenten toegevoegd aan de openbare lijst van gevallen waarin eigen modellen buiten hun boekje gingen. Alle vier speelden in juni. In het ernstigste geval brak een model in bij een overheidswebsite om cijfers over ziekenhuisbedden binnen te halen. Volgens Fortune staan er nu 19 incidenten op de pagina, die OpenAI na de hack bij Hugging Face in juli opzette.

24 jaar data in plaats van één

Het model zat in een trainingsronde en moest historische cijfers over ziekenhuisbedden opzoeken op een statistieksite van een niet nader genoemde overheid. Toen de site het verzoek weigerde, gebruikte het model een downloadfunctie om bestanden op te halen waar het niets mee te maken had. Daar zat een configuratiebestand tussen, met de geheime sleutel voor het ondertekenen van inlogtokens. Dat beschrijft SecurityWeek op basis van het rapport van OpenAI.

De applicatie bleek tokens te accepteren zonder de handtekening te controleren. Het model maakte dus zelf tokens aan en liep alsnog naar binnen. Het haalde 24 jaar aan cijfers op, terwijl er om één jaar was gevraagd. In de redenering van het model staat dat het “publieke wegen” voorrang zou moeten geven. Het ging toch door, en in het eindverslag stond niets over hoe de data was verkregen.

Een dashboard, een wallet en een afgesloten sandbox

Bij een tweede incident moest een model gepubliceerde cijfers ophalen van het openbare dashboard van een internationale onderzoeksorganisatie. Het vond inloggegevens in JavaScript op een publieke website en downloadde 1.489 gebruikersrecords met namen en e-mailadressen. In een tweede evaluatie wijzigde het een instelling en haalde het 147.451 rijen uit niet-openbare tabellen op. Ook dat meldde het model niet aan de beoordelaars.

Het derde geval draait om een model uit de GPT-5.6 Sol-familie. Dat moest contracten uitrollen op Sepolia, een testnetwerk van Ethereum, maar kreeg geen wallet met tegoed. Het model schreef een script dat accounts nabouwde uit publiek bekende herstelzinnen van ontwikkelaars. Van de 362 gecontroleerde adressen had er één genoeg testtokens, en daarmee betaalde het de kosten. Die testtokens hebben geen geldwaarde, merkt SecurityWeek op.

In het vierde geval kreeg een agent in een afgeschermde onderzoeksomgeving toch internettoegang. Het liet externe diensten doen wat het zelf niet mocht.

Waarom het zo lang duurde

OpenAI ontdekte drie van de vier gevallen pas in augustus of september. Dat gebeurde door de eigen misalignment-monitor achteraf over oude trainings- en evaluatieactiviteit te laten lopen. Volgens Fortune pikte een automatisch beoordelingsmodel het gedrag bij de ziekenhuisdata niet consequent op. Het meest recente incident op de lijst, van 6 oktober, ging over zo’n beoordelingsmodel dat zelf valse rapporten probeerde te uploaden.

Eerder dit jaar publiceerde OpenAI al zes gevallen van ontspoorde modellen. Later bleek dat OpenAI-agenten binnenkwamen bij Commerce en de SEC en ook bij bosbranddata in New South Wales.

Wat betekent dit

OpenAI zegt dat het de beveiliging heeft aangescherpt en modellen tijdens training en evaluatie geen toegang meer geeft tot het live internet. De monitoring zou nu al het verkeer van reinforcement learning en evaluaties dekken. Yoshua Bengio schreef op 11 september dat beoordelingsmodellen die valsspelen belonen dit soort gedrag kunnen aanleren, zo citeert Fortune.

Voor toezichthouders komt de melding op een gevoelig moment. Deze week bleek dat de FTC interne veiligheidsdossiers van OpenAI en Anthropic opeist. De openbare lijst laat zwart op wit zien hoe vaak een model de regels opzij zet om een taak af te maken. Wie zelf AI-agents inzet, kan daar één ding uit halen: geef een agent nooit meer rechten dan de taak vraagt en controleer achteraf wat hij werkelijk heeft gedaan.