Anthropic wil bewijzen welk AI-model echt antwoord gaf

Wie een vraag stelt aan een duur AI-model via een tussenpartij, kan nu niet controleren of dat model het antwoord ook echt gaf. Anthropic publiceerde op 2 november FlashProve, een open-source prototype dat precies dat met wiskunde moet aantonen. Het werk komt van het Frontier Red Team van Anthropic, samen met onderzoekers van onder meer EPFL en MIT.

Het probleem van het verwisselde model

Een routeringsdienst kan stilletjes een goedkoper model inzetten, of een aanvaller kan met de tokenstroom knoeien. Aan de kwaliteit van een antwoord zie je dat meestal niet. TechCrunch noemt in zijn verslag nog een scenario: een AI-bedrijf dat zelf een goedkoper model achter de schermen zet om kosten te besparen, of juist een duurder model om benchmarkscores op te poetsen. De onderzoekers stellen de vraag ook breder. Als een ontwikkelaar zegt dat een frontier-model zijn codebibliotheek op lekken heeft gescand, “how can a user verify these claims?”

Dat speelt nu al. Revolut wisselde onlangs Claude in voor eigen GLM-modellen om kosten te drukken. Dat deed het bedrijf openlijk, maar een minder eerlijke aanbieder hoeft dat niet te melden.

Zo werkt FlashProve

De aanbieder publiceert eerst een korte cryptografische vastlegging (commitment) van de modelgewichten. De gewichten zelf blijven geheim. Per verzoek maakt de aanbieder daarna een bewijs dat dat vastgelegde model bij die prompt precies die uitvoer oplevert. Iedereen met de vastlegging, de prompt en het antwoord kan dat bewijs controleren, zonder de gewichten te zien. Het gaat om een zogeheten zkSNARK, een zero-knowledge-bewijs. TechCrunch vergelijkt het met DKIM, de handtekening waarmee mailservers aantonen dat een e-mail echt van de afzender komt.

Anthropic testte het systeem op Llama 4 Maverick van Meta, een mixture-of-experts-model van 400 miljard parameters. Op één H100-gpu haalde de bewijzer ongeveer 110 tokens per seconde. Een bewijs is zo’n 19 MB per verzoek van 1.024 tokens, en controleren kost op een gewone processor ongeveer 17 seconden. Volgens Anthropic is het daarmee veel sneller dan eerder open werk: VerInf kwam bij hetzelfde model niet verder dan circa 0,02 tokens per seconde.

Nog lang niet klaar voor gebruik

De onderzoekers zijn zelf voorzichtig. Het bewijzen kost 70 tot 95 keer zoveel gpu-tijd als gewoon serveren met vLLM. De context is beperkt tot 1.024 tokens en het bewijs geldt alleen voor greedy decoding op een exacte integer-versie van het model. Aanvallen via zijkanalen, zoals timing, vallen erbuiten. Anthropic of andere labs zijn ook niet van plan het systeem al in te zetten, meldt TechCrunch. De code staat onder Apache 2.0 op GitHub, met een verifier die in Lean formeel is gecontroleerd. Dat sluit aan bij eerder werk waarin Claude formele bewijzen voor codebibliotheken leverde.

Wat betekent dit

Voor gewone gebruikers verandert er voorlopig niets. Het idee is wel concreet: een AI-antwoord met een controleerbare herkomst, net als een ondertekende e-mail. Dat past bij andere pogingen om AI-uitvoer traceerbaar te maken, zoals het onzichtbare watermerk dat xAI op Grok-tekst zet. Een watermerk zegt iets over de bron van tekst, FlashProve over het precieze model. Voor toezichthouders en bedrijven die met open modellen via derden werken, kan dat later nuttig zijn. Het werkt alleen als labs per model een vastlegging publiceren en de rekenkosten flink omlaag gaan. Zolang een bewijs tientallen keren meer rekenkracht kost dan het antwoord zelf, blijft het een onderzoeksproject. Dat beveiliging van AI-systemen bij de grote labs hoog op de lijst staat, bleek deze week ook bij OpenAI, dat zijn bug bounty verviervoudigde en Cathedral inhuurde.