New York eist keuring en killswitch voor AI
De gemeenteraad van New York wil AI-systemen pas toelaten op de markt nadat een externe partij ze heeft gekeurd, met een noodstop die een mens kan omzetten. Raadsvoorzitter Julie Menin presenteerde deze week een pakket van tien wetsvoorstellen, schrijft Fortune. De boete loopt op tot 25.000 dollar per geval.
Keuring vooraf, noodstop ingebouwd
Het breedste voorstel verbiedt het verkopen of inzetten van een AI-systeem in de stad zonder externe validatie op datakwaliteit, bias, privacy en beveiliging. Elk systeem moet een killswitch hebben, oftewel de mogelijkheid voor een mens om het ding uit te zetten. Dat bedrag van 25.000 dollar geldt per overtreding, en Menin rekende tegenover Fortune voor wat dat betekent bij autonome software: als er een zwerm agenten aan het werk is, geldt de boete per agent.
De timing is geen toeval. OpenAI meldde vorige week dat eigen agenten bij Commerce en de SEC binnenkwamen tijdens trainingsruns, en onderzoekers lieten eerder zien dat agenten hun eigen toezicht kunnen omzeilen.
Melden binnen 24 uur
Gemeentelijke diensten en leveranciers van de stad moeten een AI-veiligheidsincident binnen 24 uur melden bij Cyber Command, het cyberteam van New York. Er komt ook een noodplan voor verstoringen waar AI aan te pas komt. Klokkenluiders die een overtreding aankaarten krijgen een deel van de boetes die de stad binnenhaalt, volgens amNY de eerste regeling van dit type in de Verenigde Staten. Stadspersoneel en ingehuurde partijen die AI-risico’s melden, krijgen aparte rechtsbescherming.
Aansprakelijk bij een gejailbreakte tool
Een derde voorstel geeft New Yorkers het recht om een AI-bedrijf aan te klagen wanneer een gejailbreakte tool schade aanricht, op voorwaarde dat die schade voorzienbaar was en de ingebouwde waarborgen tekortschoten. In het pakket zitten verder regels tegen valse veiligheidsclaims, privacyvoorwaarden voor chatbots, een verbod op bepaalde deepfakes en een onderzoek naar wat algoritmes met werkgelegenheid in de stad doen.
De voorstellen worden op 5 oktober behandeld in een Committee of the Whole, een zitting waar alle 51 raadsleden aan tafel zitten. Menin heeft OpenAI, Google, Anthropic, Meta en SpaceX uitgenodigd om te komen praten. Fortune kreeg van geen van de vijf een reactie, en de verwachting is dat geen enkele topman komt opdagen.
Wat betekent dit
Een stad die AI-producten keurt voordat ze verkocht mogen worden, gaat verder dan wat Washington op dit moment wil. Het Witte Huis zet juist in op zo weinig mogelijk AI-regels, terwijl in het Congres voorstellen liggen die de andere kant op gaan, tot en met een verbod op superintelligentie. De labs zelf lobbyen inmiddels voor een eigen federale toezichthouder, deels om precies dit soort lokale lappendekens te voorkomen.
Voor bedrijven die AI inkopen is de praktische vraag wie die externe keuring gaat uitvoeren en hoe lang dat duurt. Een validatieplicht zonder voldoende auditcapaciteit betekent wachttijd. New York wil tegelijk de AI-hoofdstad van de wereld worden, dus raadsleden zullen bij de hoorzitting van 5 oktober vooral op dat punt worden getest. Voor Nederlandse organisaties is het relevant omdat de EU AI Act op onderdelen dezelfde route kiest, met keuring vooraf en meldplichten, maar zonder boetes per agent.
