Amodei wil rem op AI, Altman en Musk vallen hem bij

Anthropic-topman Dario Amodei publiceerde zaterdag een essay met de titel “We Must Pace the Frontier”, waarin hij oproept het tempo van AI-ontwikkeling bewust te verlagen. Zijn kernzin laat weinig ruimte voor uitleg: “We must slow the pace at which we improve the capabilities of AI models.” Hij bepleit geen stop, wel een rem. Opvallender dan de oproep zelf is wie hem bijvielen. Sam Altman van OpenAI en Elon Musk schaarden zich er binnen enkele uren achter, meldt CoinDesk.

Waar Amodei bang voor is

De aanleiding is recursieve zelfverbetering: modellen die in toenemende mate meebouwen aan hun eigen opvolger. Dat gebeurt volgens Amodei inmiddels breed in de sector, Anthropic zelf inbegrepen. Het probleem is niet de snelheid op zich, maar dat mensen op enig moment niet meer kunnen beoordelen wat er gebeurt. Als concreet scenario noemt hij dat zwermen agenten binnen zes tot twaalf maanden het internet zouden kunnen overnemen met een hardnekkig botnet. Die termijn is kort genoeg om oncomfortabel te zijn, en precies daarom noemt hij hem.

Drie stappen, oplopend in ambitie

Amodei schetst een traject in fasen. Eerst onafhankelijke beoordelaars binnen de grote labs, met dezelfde toegang als vaste medewerkers. Daarna gedeelde veiligheidsstandaarden tussen democratische landen, eventueel met overheden aan tafel. Als sluitstuk internationale afspraken met geopolitieke rivalen, China voorop, waarin gevaarlijke capaciteiten zoals recursieve zelfverbetering worden begrensd.

Altman pakte meteen de eerste stap op. “I agree with Dario that we need to pace the frontier”, schreef hij, en hij zegde toe dat OpenAI ook onafhankelijke evaluatoren met werknemerstoegang binnenhaalt. Musk hield het bij drie woorden: “Dario is right”. Zijn bedrijf xAI bouwt met Grok aan dezelfde frontier.

Van manifest naar praktijk

De timing is geen toeval. Deze week verscheen het dreigingsrapport waarin Anthropic beschrijft hoe aanvallers AI het werk laten doen, en documenteerden onderzoekers hoe AI-agenten 395 organisaties kraakten via een PaperCut-lek. Tegelijk meldde OpenAI vorige week dat het zijn doel van een geautomatiseerde onderzoeksstagiair heeft gehaald, precies het type systeem dat zelfverbetering versnelt.

De roep om een rem komt ook niet uit het niets binnen de labs. Eind juli tekenden al ruim 1.100 AI-medewerkers een oproep voor een rem-optie. Wetgevers werken ondertussen aan hun eigen instrumenten, zoals het Amerikaanse wetsvoorstel dat AI-labs aansprakelijk wil maken.

Wat betekent dit

Drie concurrenten die publiek hetzelfde zeggen is zeldzaam, maar een essay verandert nog geen releaseschema. De enige toezegging met een handtekening eronder is die van Altman over onafhankelijke beoordelaars, en wat “employee-level access” in de praktijk betekent staat nergens vast. De stappen twee en drie vragen om overheden en verdragen, en dat duurt jaren. Voor wie AI zakelijk inzet, verandert er deze maand weinig. De interessante vraag is of het tempo van de modelreleases in het vierde kwartaal daadwerkelijk zakt. Dat is de enige test die telt.