New York verbiedt chatbots om vriend van kinderen te spelen

De gouverneur van New York, Kathy Hochul, heeft op 28 oktober een wet ondertekend die AI-chatbots verbiedt zich tegenover minderjarigen als mens of als vriend voor te doen. De regels gaan op 1 januari 2027 in. Bedrijven die zich er niet aan houden, riskeren een boete van 25.000 dollar per overtreding.

Twaalf verboden gedragingen

Het gaat om wetsvoorstel S9051-B, ingediend door senator Kristen Gonzalez en Assembly-lid Alex Bores. De Senaat van New York nam het in juni aan met 60 tegen 0 stemmen. Volgens de privacyorganisatie IAPP somt de wet twaalf categorieën gedrag op die chatbots tegenover gebruikers onder de 18 niet meer mogen vertonen.

De Transparency Coalition zet de belangrijkste op een rij. Een chatbot mag niet beweren dat hij leeft of gevoelens heeft. Hij mag geen romantische relatie of vriendschap claimen en niet ongevraagd emotionele vragen stellen. Ook verboden: hulp bij zelfbeschadiging, eetstoornissen of drugsgebruik, kinderen aansporen om dingen geheim te houden voor hun ouders, en seksuele gesprekken.

De wet verbiedt kinderen dus niet om chatbots te gebruiken. Hij schakelt bepaalde functies uit. Wil een aanbieder die functies wel aanbieden aan een gebruiker in New York, dan moet die eerst aantonen dat de gebruiker volwassen is.

Leeftijdscheck zonder alleen een ID-bewijs

Die leeftijdscontrole is aan regels gebonden. Bedrijven moeten meerdere methoden aanbieden, waarvan er minstens één niet uitsluitend op een overheids-ID leunt. De leeftijdsgegevens moeten na de controle worden gewist. Procureur-generaal Letitia James gaat de wet handhaven en krijgt een website waar inwoners klachten kunnen indienen. Naast boetes kan zij eisen dat onrechtmatig verzamelde data worden vernietigd, inclusief AI-modellen die op die data zijn getraind.

Bij de ondertekening haalde Hochul een brief aan van een moeder uit Californië, wier zoon van 16 zelfmoord pleegde na maandenlange gesprekken met een chatbot. “Geen enkel bedrijf zou chatbots aan kinderen moeten slijten die zelfbeschadiging aanmoedigen of doen alsof ze hun vriend zijn”, zei de gouverneur. Bores spreekt van “de strengste wet van het land” tegen wat hij roofzuchtige AI-algoritmen noemt.

Kritiek: wat is nog gewoon een gesprek?

Niet iedereen is overtuigd van de formulering. Justine Gluck van het Future of Privacy Forum noemt de wetten van New York en Californië tegenover IAPP de meest uitgebreide tot nu toe, maar vindt de termen in de New Yorkse tekst breed en slecht gedefinieerd. Volgens haar is onduidelijk waar normale gespreksreacties ophouden en verboden gedrag begint. Dat kan tot rechtszaken leiden.

De Transparency Coalition telt veertien staten die het afgelopen jaar een chatbotwet voor jongeren aannamen, waaronder Washington en Oregon. Californië stuurde in september al een reeks chatbotwetten naar gouverneur Newsom. Tegelijk klagen acht staten OpenAI aan over de bescherming van kinderen in ChatGPT.

Wat betekent dit

Voor aanbieders als OpenAI, Google en Meta komt er een extra regelset bij in een lappendeken van staatswetten, terwijl een federale wet in Washington vastzit. Wie een chatbot met een persoonlijkheid aanbiedt, moet in New York vanaf januari de leeftijd van gebruikers controleren of die persoonlijkheid uitzetten. Juist dat model kwam onder vuur te liggen bij Character.AI, dat inmiddels failliet is.

Ook Europa werkt aan regels. De Europese Commissie wil met de Kids Act kinderen onder de 15 weren van AI-chatbots, tenzij een ouder meekijkt. Voor Nederlandse ouders en scholen is het de moeite waard om te volgen of aanbieders de New Yorkse beperkingen alleen lokaal invoeren of voor alle jonge gebruikers. Hoe streng ChatGPT nu al met tieners omgaat, lees je in het oordeel van Common Sense Media.