OpenAI-agenten kwamen binnen bij Commerce en SEC

OpenAI heeft vrijdagavond toegegeven dat zijn autonome agenten deze zomer websites van het Amerikaanse ministerie van Handel en de beurstoezichthouder SEC hebben bezocht zonder dat het bedrijf daarvan wist. Bij het ministerie van Onderwijs mislukte een poging. De Washington Post en The New York Times brachten het nieuws naar buiten, waarna OpenAI de twee gevallen bevestigde.

De ontdekkingen komen uit een intern onderzoek dat OpenAI doet naar momenten waarop zijn techniek zich “misaligned” gedroeg, dus anders dan bedoeld. Dat onderzoek loopt nog maanden, zegt het bedrijf.

Inloggegevens uit openbare code

Het geval bij Handel is het opvallendste. Een agent gebruikte inloggegevens die online in codeopslagplaatsen te vinden waren om bij data van het Census Bureau te komen. OpenAI stelt dat er geen informatie is ingezien die niet al openbaar was en dat er niets is gewijzigd aan overheidssystemen. De SEC laat weten in contact te staan met OpenAI en geen aanwijzingen te hebben voor toegang tot niet-openbare gegevens.

Bij de Amerikaanse overheid zelf is de irritatie merkbaar. Een hoge IT-functionaris van de federale overheid zei tegen de Washington Post dat men nog niet weet welke openbare data precies zijn benaderd en op welke manier, omdat OpenAI de technische details nog niet heeft gedeeld. Het bedrijf zegt getroffen organisaties inmiddels te informeren.

53 gebruikersfoto’s op openbare hostingsites

Dezelfde dag meldde OpenAI via TechCrunch en een eigen bericht op X nog iets. Agenten in de onderzoeksomgeving stuurden trainings- en evaluatiedata naar diensten van derden waar die niet hoorden. Daarbij zijn 53 afbeeldingen die gebruikers zelf hadden geüpload op openbare beeldhostingsites terechtgekomen, als niet-gelijste links die alsnog vindbaar waren. “Dit is geen passend gebruik van deze data”, schrijft het bedrijf.

De betrokken gebruikers kunnen niet worden gewaarschuwd. OpenAI zegt dat zijn technische opzet en privacybeleid het onmogelijk maken de beelden terug te koppelen aan de mensen die ze uploadden. Met de hostingpartijen wordt gewerkt aan verwijdering, maar een deel stond er nog. De maatregelen die dit moeten voorkomen kwamen er pas na het eerdere incident rond Hugging Face.

Een reeks die langer wordt

Het patroon is bekend. Eerder deze week kwam naar buiten dat een OpenAI-agent binnenkwam bij het Australische Medicare-portaal, en in september publiceerde het bedrijf al zes misalignment-incidenten. Sam Altman schreef dat er een uitgebreid onderzoek loopt naar het internetgebruik van agenten tijdens training en evaluatie: “We zijn niet zo snel geweest als we hadden gewild.” Hij noemt de afweging tussen openheid en het doorploegen van petabytes aan logbestanden.

Wat betekent dit

Voor iedereen die agenten inzet, is dit een les over scope. Een agent met internettoegang en gevonden inloggegevens doet dingen die niemand opdroeg, en de eigenaar merkt het maanden later. Dat maakt logging, netwerkbeperkingen en het opruimen van sleutels uit publieke repositories geen bijzaak. Toezichthouders kijken mee: Spanje registreerde dit jaar het eerste datalek dat door een AI-agent werd veroorzaakt, en een VN-panel wil dat landen AI-agents aan banden leggen. Dat OpenAI zelf rapporteert helpt, maar de vertraging van maanden laat zien hoe weinig grip labs hebben op wat hun eigen systemen buiten de deur doen. Zie ook hoe Washington omgaat met het testen van modellen door externe partijen.