Anthropic waarschuwt beleggers voor zelfverbeterende AI

Anthropic heeft een opvallende waarschuwing in zijn herziene beursaanvraag gezet. In het bijgewerkte S-1/A-document, dat maandag 2 november bij de Amerikaanse beurswaakhond SEC binnenkwam, schrijft de maker van Claude dat het mogelijk binnenkort een punt bereikt waarop AI de eigen ontwikkeling flink versnelt. TechCrunch ontdekte de passage in de paragraaf met risicofactoren.

Wat Anthropic aan beleggers vertelt

Volgens de citaten die TechCrunch-redacteur Julie Bort uit het document haalt, wijzen interne schattingen erop dat Anthropic “may imminently meet” de definitie van “dramatically accelerated progress attributable to AI” uit zijn eigen Responsible Scaling Policy. Die verwachting gaat over toekomstige modellen. Over de huidige generatie is het bedrijf stellig: “We have not designated any of our current models as exceeding this threshold.” Wel geeft Anthropic toe dat het zo’n versnelling in het verleden pas achteraf heeft opgemerkt.

In dezelfde passage noemt het bedrijf het inzetten van AI om krachtigere AI te bouwen een “considerable safety risk”. Anthropic verwacht Claude niet veilig “fully autonomously” nieuwe modellen te kunnen laten ontwerpen en bouwen. Het overweegt daarom de Responsible Scaling Policy aan te passen, zodat mensen de regie over de ontwikkeling houden.

Wanneer telt het als versnelling

Het idee achter de waarschuwing heet recursieve zelfverbetering: AI die meebouwt aan een betere versie van zichzelf. Gizmodo-journalist Mike Pearl wijst erop dat het begrip teruggaat op de “seed AI” van Eliezer Yudkowsky en jarenlang vooral op fora als LessWrong besproken werd. Anthropic probeert het meetbaar te maken. Volgens Gizmodo ligt de drempel bij een verdubbeling van het gebruikelijke tempo van vooruitgang, op voorwaarde dat die verdubbeling aannemelijk aan AI te danken is. Kingy.ai, dat versie 3.4 van het beleid (van kracht sinds 8 juli) heeft uitgeplozen, noemt nog een tweede route: het moment waarop AI het complete team van onderzoekers en engineers tegen vergelijkbare kosten kan vervangen.

Gaat een model over de drempel, dan zoekt Anthropic volgens Gizmodo naar “ambitious and possibly unconventional ways” om de beveiliging fors op te schroeven. Daar hoort volledig intern toezicht bij (“eyes on everything”) en zoveel eigen red-teaming dat het bedrijf geen bugbounties meer nodig heeft.

Juridische voorzichtigheid of echt signaal

Een prospectus is een juridisch stuk. Bedrijven sommen er elk denkbaar risico in op, al was het maar om later niet aansprakelijk gesteld te worden. Toch is de formulering ongewoon direct. Volgens Gizmodo stond de zinsnede over “imminently” al in de eerste versie van 26 oktober; TechCrunch zag de aangescherpte risicoparagraaf in de herziening van deze week. Een datum of kansschatting noemt Anthropic nergens.

De timing is ook gevoelig. Het bedrijf moet beleggers overtuigen terwijl het, zoals we eerder schreven, 17 miljard dollar omzet draait maar operationeel verlies lijdt. Blackstone verwacht na de beursgang een junk-rating, en de oprichters houden de meerderheid van het stemrecht. Een veiligheidsregel die de uitrol van een nieuw model kan afremmen, is voor beleggers dus relevante informatie. Juist daarom kijkt de SEC mee met wat AI-bedrijven beleggers vertellen.

Wat betekent dit

Voor wie dagelijks met Claude werkt, verandert er voorlopig niets. Geen enkel huidig model staat boven de drempel. De belangrijkste vraag is wie straks bepaalt of die grens is gepasseerd. Op dit moment meet Anthropic dat vooral zelf, met eigen definities. Concurrent OpenAI pleitte eerder al voor wettelijke ‘speed limits’ voor krachtige AI. Als een beursgenoteerd bedrijf zelf schrijft dat zelfversnellende AI dichtbij kan zijn, wordt het voor politici in Washington en Brussel lastiger om onafhankelijk toezicht op dit soort drempels voor zich uit te schuiven.