Vals haalt 40 miljoen op voor onafhankelijke AI-tests

Wie wil weten welk AI-model het beste is, kijkt meestal naar benchmarks. Precies daar wringt het: de bekende testsets zijn zo vaak gebruikt dat ze topmodellen nauwelijks nog uit elkaar houden. Het San Francisco-bedrijf Vals AI wil dat gat vullen met eigen, geheime tests en haalde daarvoor 40 miljoen dollar op bij Andreessen Horowitz. TechCrunch portretteerde het bedrijf vandaag.

Van schoolexamen naar echt werk

Vals werd in 2024 opgericht door Rayan Krishnan (CEO, eerder bij Palantir) en Langston Nashold (CTO, met een verleden bij Meta, NVIDIA en Hudson River Trading). In plaats van academische vragenlijsten bouwt het bedrijf tests rond taken die advocaten, financieel analisten en programmeurs op een gewone werkdag doen. “Kunnen ze werk leveren van dezelfde kwaliteit als een mens, in elk domein?”, vat Krishnan de vraag samen tegenover TechCrunch.

De uitkomsten zijn nuchter. Op Finance Agent v2, de test rond echte beleggingsanalyse, halen de sterkste modellen ongeveer 52 procent. Ruwweg de helft van het werk dat een analist routineus afhandelt gaat dus mis. Dat soort cijfers verschilt fors van de scores die labs zelf in hun aankondigingen zetten, en verklaart waarom inkopers bij bedrijven behoefte hebben aan een derde partij.

Waarom oude benchmarks opdrogen

Het probleem is meetbaar. Een studie van ETH Zurich en Stanford uit februari 2026 vond dat 29 van 60 veelgebruikte LLM-benchmarks verzadigd zijn: de verschillen tussen de beste modellen vallen binnen de meetruis. Zo’n test zegt een inkoper niets meer. Vals houdt het testmateriaal daarom achter en trekt benchmarks actief in zodra de scores tegen het plafond lopen, om ze te vervangen door zwaardere varianten.

Het verdienmodel lijkt op dat van examenbureaus: labs betalen om getest te worden. De resultaten duiken inmiddels op in de modelkaarten van OpenAI, Anthropic, Google, Meta en xAI. Naast recht, financiën en code test Vals ook op cyberveiligheid, biosecurity, geestelijke gezondheid en recursieve zelfverbetering.

Een auditmarkt in wording

De ronde van 40 miljoen dollar werd geleid door a16z, bij een waardering van 400 miljoen dollar, met 8VC, Pear VC, Bloomberg Beta, HRT Ventures en Next Ladder Ventures erbij. a16z-partner Jennifer Li vergelijkt Vals met Moody’s in de kredietmarkt en met accountants bij beursgenoteerde bedrijven: zodra de informatiekloof tussen verkoper en koper te groot wordt, ontstaat er vanzelf een onafhankelijke controleur.

Die beweging zie je breder. Anthropic haalde deze week Accenture als ingebedde evaluator binnen, Mark Zuckerberg pleitte eerder voor meer evaluatoren in plaats van een rem op AI, en Canada en Duitsland staken samen 300 miljoen in Bengio’s LawZero.

Wat betekent dit

Voor organisaties die AI inkopen is dit nuttiger nieuws dan het zoveelste modelrecord. De scores in een lanceringspost zeggen weinig over wat een model doet met jouw contracten, jouw jaarrekening of jouw codebase. Een onafhankelijke meting die 52 procent laat zien waar een persbericht 90 procent suggereert, verandert de businesscase. Gezien de AI-uitgaven die Gartner op 2,7 biljoen dollar raamt, is die correctie geld waard. Wie nu een model kiest, doet er goed aan te vragen op welke taken het getest is en door wie.