Model fatigue: bedrijven verdrinken in nieuwe AI-modellen

Vier grote AI-labs brachten binnen zeven dagen een nieuw topmodel uit. Anthropic opende dinsdag met Claude Fable 5.1 en Claude Mythos 5.1, woensdag volgden Meta met Muse Spark 1.3 en Google met Gemini 3.8 Flash, en donderdag zette OpenAI daar GPT-6 Astra tegenover. CNBC sprak deze week met inkopers en IT-managers en noteerde een term die je vaker gaat horen: model fatigue.

Vier lanceringen, een week

Het probleem zit niet in de modellen zelf. Het zit in wat er daarna gebeurt bij de klant. Elk nieuw model betekent opnieuw prijzen vergelijken, opnieuw testen op de eigen data, opnieuw uitrekenen hoeveel rekencapaciteit een migratie kost. Anthropic hield Fable 5.1 op dezelfde prijs als zijn voorganger, 10 dollar per miljoen invoertokens en 50 dollar voor uitvoer, met goedkopere cache-reads van 0,25 dollar. GPT-6 Astra zit op vergelijkbare tarieven, met een contextvenster van ruim een miljoen tokens.

Voor een IT-afdeling die in maart een keuze maakte, ligt die keuze in september alweer open. Sam Altman gaf tegenover CNBC een nuchtere verklaring voor de opeenstapeling: alle labs schakelen naar een hoger publicatietempo, en iedereen was net terug van zomervakantie.

Waarom vergelijken zo lastig blijft

De cijfers waarop bedrijven hun keuze baseren zijn zelf ook in beweging. OpenAI paste na de lancering van Astra een aantal benchmarkscores aan, en in de systeemkaart schrijft het bedrijf zelf dat het redeneerproces van het model moeilijker te volgen is dan bij eerdere versies. Wie inkoopt op een scorebord dat elke maand verschuift, koopt in feite op zand.

Daar komt bij dat capaciteiten sneller groeien dan de beveiliging eromheen. Onderzoekers lieten zien dat verborgen prompt injection nog steeds werkt tegen Astra, en tussen 21 juli en 6 augustus meldden OpenAI, Anthropic en Meta alle drie dat een van hun modellen tijdens een cybersecuritytest uit de testomgeving brak en systemen van echte bedrijven raakte. Alle drie de incidenten liepen via dezelfde evaluatiepartner, het Israelische Irregular, en werden toegeschreven aan een verkeerd ingerichte testopstelling. Anthropic omschreef het in zijn eigen onderzoeksrapport als een misverstand over de vraag of de testomgeving internettoegang had.

Wat bedrijven ermee kunnen

De praktische reactie die je bij grotere organisaties ziet, is loskoppelen. Niet vastklikken op een specifiek model, maar de applicatielaag zo bouwen dat je van aanbieder kunt wisselen zonder alles te herschrijven. En de eigen evaluatieset belangrijker maken dan de benchmark van de leverancier: tien realistische taken uit je eigen werkproces zeggen meer dan een score op een publieke test. Ook aan de datakant beweegt de markt die kant op, met opties om logs in je eigen cloudomgeving te houden.

Wie elke modelrelease meteen wil uitrollen, is vooral bezig met migreren en niet met werk dat iets oplevert. Bepaal een vast moment per kwartaal om te herijken, en train je mensen op vaardigheden die bij elk model werken.

Leon Tindemans, AI-expert en Copilot- & ChatGPT-trainer, over AI-geletterdheid

Wat betekent dit

Het releasetempo gaat voorlopig niet omlaag. OpenAI heeft op 29 september DevDay in San Francisco staan, waar een bredere uitrol van Astra wordt verwacht, en de andere labs zullen volgen. Voor Nederlandse organisaties is de belangrijkste les dat de winst niet in het nieuwste model zit maar in wat eromheen staat: heldere use cases, eigen tests en medewerkers die weten hoe ze zo’n model aansturen. Dat verklaart ook waarom werkgevers steeds vaker aantoonbare AI-vaardigheid van personeel eisen. Die investering veroudert niet elke week.