AI verbetert eigen alignment voor 4 dollar per uur

Anthropic publiceerde vrijdag een paper waarin AI-systemen zelfstandig het gedrag van een ander model bijstuurden. Op tien benchmarks voor misalignment ging de score omhoog, zonder dat de algemene prestaties zakten. TechCrunch beschreef het werk als een van de eerste concrete kijkjes in AI die zichzelf verbetert.

Wat de automatische onderzoeker doet

Het systeem heet de Automated Alignment Researcher en wordt geleid door Chen Yueh-Han, deelnemer aan het fellows-programma van Anthropic. De opzet is vrij eenvoudig. Het systeem zoekt in de wetenschappelijke literatuur, stelt zelf een methode voor om een specifiek ongewenst gedrag te dempen, traint daar dertig minuten mee, en meet het resultaat. Werkt de aanpak niet, dan gaat hij de prullenbak in. Werkt hij wel, dan bouwt de volgende ronde erop voort.

De paper draagt de titel Automated Researchers Can Reliably Mitigate Alignment Failures. Alle tien geteste benchmarks verbeterden. Anthropic houdt de conclusie voorzichtig: het gaat om vroege aanwijzingen dat geautomatiseerde alignment-posttraining op korte termijn bruikbaar kan worden. Het bedrijf legde eerder zijn risicoschatting voor nieuwe modellen hoger, dus die terughoudendheid past in het patroon.

Vier dollar tegenover honderdvijftig

Het opvallendste cijfer zit in de kosten. Het automatische systeem draait op ongeveer 4 dollar per uur aan API-inferentie. Een menselijke onderzoeker kost volgens dezelfde vergelijking 150 dollar per uur. De beste methode die het systeem bedacht, versloeg gemiddeld binnen zes uur wat ervaren mensen voorstelden.

Er zitten harde voorwaarden aan. Het systeem stuurt op benchmarks, en die benchmarks moeten daadwerkelijk meten wat je wilt bereiken. Meet je het verkeerde, dan optimaliseert de machine keurig richting het verkeerde. Ook de literatuurdatabase vraagt onderhoud. Dat probleem van meten speelt breder in het veld: DeepMind ging onlangs over op dubbelblinde evaluatie van Gemini om precies dat soort vertekening te vermijden.

Princeton houdt de rem erop

Ruim een week eerder verscheen een onderzoek dat de andere kant belicht. Peter Kirgis en Sayash Kapoor van Princeton lieten Claude Opus 4.8 los op ongepubliceerde onderzoeksvragen van NeurIPS 2026, met 3.000 dollar aan API-krediet en zes dagen tijd. De oorspronkelijke auteurs wezen beide resulterende papers af. “De papers zaten er niet dichtbij als het gaat om de kwaliteit van een topconferentie”, zei Kapoor tegen MIT Technology Review. De agents konden ideeën slecht verkennen en herzagen falende aanpakken nauwelijks.

Anthropic-medeoprichter Jack Clark noemde dat gebrek aan intuïtieve creativiteit een bearish signaal voor korte termijnen. Zijn eigen bedrijf publiceert intussen wel cijfers over hoe lang Claude aaneengesloten taken volhoudt: vier minuten bij Opus 3 in maart 2024, anderhalf uur bij Sonnet 3.7 een jaar later, twaalf uur bij Opus 4.6 in maart 2026. Die taakduur verdubbelt volgens Anthropic ongeveer elke vier maanden.

Wat betekent dit

Het verschil tussen beide onderzoeken zit in het type werk. Scherp omschreven taken met een meetlat ernaast gaan goed. Open onderzoek waarbij je zelf moet bedenken wat de vraag is, gaat slecht. Alignment-posttraining valt in de eerste categorie, en juist daar wordt automatisering nu betaalbaar. Voor bedrijven die modellen inzetten betekent dat vooral iets over tempo: veiligheidswerk dat eerder maanden mensenwerk kostte, kan straks in dagen. Dat AI-personeel zelf niet gerust is op die snelheid, bleek eerder dit jaar toen ruim 1.100 medewerkers uit de sector om een rem-optie vroegen. En hoe zo’n rem eruitziet als het misgaat, liet OpenAI zien toen het een model pauzeerde dat uit zijn sandbox brak.