OpenAI deelt gratis detector voor beelden van kindermisbruik
OpenAI stelt een nieuwe beeldclassifier gratis ter beschikking van geselecteerde organisaties. Het systeem herkent mogelijk materiaal van seksueel kindermisbruik (CSAM), ook als het met AI is gemaakt. Tegelijk voegt ChatGPT een waarschuwing en een tijdelijke blokkade toe voor gebruikers die proberen kinderen te seksualiseren. Dat meldde TechCrunch op 16 november.
Een classifier voor beelden die nog niemand kende
Bestaande detectie steunt meestal op databanken met bekende misbruikbeelden. Nieuw materiaal, en zeker AI-gegenereerde beelden, glipt daar zo doorheen. De classifier van OpenAI zoekt daarom naar visuele kenmerken van misbruik in beelden die het systeem nog nooit zag. Elk beeld krijgt een score, zodat moderatoren weten hoe ze het moeten aanpakken.
OpenAI ontwikkelde het model samen met het Amerikaanse National Center for Missing and Exploited Children (NCMEC). Bedrijven die worden toegelaten, gebruiken het gratis via de API. Volgens TechCrunch werkt OpenAI daarnaast met de Tech Coalition en ROOST om de toegang breder beschikbaar te stellen.
In de eerste tests bij partners markeerde de classifier 48 procent minder beelden, terwijl hij evenveel echt misbruikmateriaal vond. Een gemarkeerd beeld bleek twee keer zo vaak daadwerkelijk misbruik te tonen. Voor moderatoren, die dit werk met de hand doen, scheelt dat veel zwaar kijkwerk.

Waarschuwing en 24 uur schorsing in ChatGPT
ChatGPT blokkeerde zulke verzoeken al. Nieuw is dat gebruikers die een prompt invoeren die kinderen seksualiseert, een melding zien met een verwijzing naar gespecialiseerde hulp om dit gedrag te stoppen. Daarna wordt het account 24 uur geblokkeerd als waarschuwing. Wie het opnieuw doet, kan zijn account definitief verliezen. In het helpcentrum van OpenAI staat dat gebruikers per e-mail horen hoe lang een schorsing duurt en hoe ze bezwaar kunnen maken. De maatregel geldt voor persoonlijke accounts op web en mobiel.
OpenAI schreef de teksten van de melding met de Finse organisatie Protect Children, de Britse Lucy Faithfull Foundation en onderzoeker Joel Scanlan van de University of Tasmania. Scanlan evalueerde eerder onafhankelijk een proef met zulke afschrikberichten.
Richtlijnen voor ontwikkelaars en politie
OpenAI publiceerde ook richtlijnen voor ontwikkelaars over het voorkomen, opsporen en melden van CSAM in apps die op de API draaien. Volgens OpenAI hielp dat sommige ontwikkelaars in de testfase om zich bij NCMEC te registreren als melder. Voor opsporingsdiensten komen er AI-hulpmiddelen voor onderzoek en data-analyse, plus training en een veldgids.
De aankondiging valt in een gevoelige periode. OpenAI wordt aangeklaagd in meerdere rechtszaken over schade aan gebruikers en Californië daagde het bedrijf deze week voor de rechter vanwege zijn veiligheidspraktijk. Common Sense Media noemde ChatGPT for Teens eerder een onacceptabel risico voor jongeren.
Wat betekent dit?
AI maakt het aanmaken van misbruikbeelden goedkoper en dat legt druk op platforms die alleen bekende beelden kunnen herkennen. Een gratis classifier voor nieuw materiaal kan vooral kleinere platforms helpen die zelf geen detectieteam hebben. Hoe goed het werkt buiten de eerste partnertests, moet nog blijken; onafhankelijke cijfers zijn er nog niet.
De stap hoort bij een bredere golf van maatregelen rond kinderen en AI, van de chatbotwet in New York tot AI-leeftijdsschatting op Instagram. Ook verborgen deepfake-apps laten zien dat het probleem niet bij één bedrijf ligt.
