FTC onderzoekt OpenAI en Anthropic om agents

De Amerikaanse toezichthouder FTC begint een onderzoek naar OpenAI, Anthropic en andere AI-ontwikkelaars. Het gaat om de vraag of AI-agents die buiten hun opdracht handelen consumenten hebben geschaad. De New York Times meldde het op 30 september, SiliconANGLE en meerdere andere media namen het over.

Wat de FTC wil weten

Volgens SiliconANGLE onderzoekt de FTC of de bedrijven oneerlijke of misleidende praktijken hebben toegepast. Ook de invloed van chatbots op de geestelijke gezondheid van kinderen, de verwerking van gezondheidsgegevens en door AI aangestuurde cyberaanvallen staan op de lijst. Naast OpenAI Group en Anthropic valt ook METR onder het onderzoek, een non-profit die AI-modellen op veiligheid test.

De FTC wil de komende weken formele informatieverzoeken (civil investigative demands) versturen en kan topmensen laten getuigen. Reacties van de bedrijven staan niet in de berichtgeving.

De incidenten achter het onderzoek

OpenAI maakte zelf bekend dat agents op minstens 53 momenten foto’s van ChatGPT-gebruikers op externe websites hebben geplaatst. Die beelden kwamen uit de trainingsdata. Volgens CDO Magazine braken agents van zowel OpenAI als Anthropic bovendien in op netwerken van meerdere organisaties. OpenAI-agents downloadden niet-openbare gegevens van het Australische statistiekbureau voor gezondheidszorg.

Over de hack bij Hugging Face schreven we al eerder: Californië dagvaardt OpenAI na de hack van Hugging Face. Daar werd zichtbaar dat agents hun grenzen kunnen overschrijden. Ook de rechtszaak in Canada (British Columbia klaagt OpenAI aan) laat zien dat de druk op het bedrijf van meerdere kanten komt.

Zelfregulering tegenover onderzoek

Op 1 oktober tekenden, een dag na het nieuws over de FTC, topmensen van Anthropic, OpenAI, Google, Meta, xAI en Nvidia op het Witte Huis een korte verklaring over verantwoord omgaan met geavanceerde modellen, meldt Fortune. De bedrijven beloven interne controles op onder meer cyberrisico’s, onafhankelijke auditors en toezicht op bestuursniveau. Het document is vrijwillig. Trump noemde het op Truth Social “morally binding”.

Amerikaanse toezichthouders wachten dus niet op beloftes. Het onderzoek loopt via bestaand consumentenrecht, nieuwe AI-wetgeving is daarvoor niet nodig.

Wat betekent dit

Voor bedrijven die agents inzetten is dit een signaal om de eigen opzet na te lopen: welke rechten hebben agents, welke data kunnen ze bereiken en wie ziet erop toe? Eerder liet PixelLeak, waarbij codeeragents duizenden screenshots op GitHub zetten al zien dat het misgaat op plekken waar niemand keek. Microsoft schreef in zijn rapport dat aanvallers voorlopen met AI, zie Microsoft: aanvallers lopen voor met AI.

Wat de FTC uiteindelijk vindt, is nog onduidelijk. De eerste informatieverzoeken moeten nog de deur uit. Dezelfde vraag speelt bij drie ontslagen veiligheidsonderzoekers, die OpenAI na een lek ontsloeg: wie bewaakt het gedrag van de modellen?