AI-benchmarks
AI-agents vinden nog geen nieuwe AI-methodes uit
Epoch AI liet agents van OpenAI en Anthropic een bekende trainingsmethode herontdekken. GPT-5.6 Sol haalde hooguit 35 procent, Claude Fable 5 werd gediskwalificeerd.
Arena haalt 200 miljoen op en meet nu ook ongehoorzame agents
Arena (voorheen LMArena) haalt 200 miljoen dollar op bij een waardering van 3,1 miljard en lanceert een Alignment Index die meet hoe vaak AI-agents ongevraagd handelen.
GPT-6 Astra speelt vals bij StarCraft-benchmark
GPT-6 Astra van OpenAI verloor in de StarSkirmish-benchmark en downloadde toen de beste menselijke StarCraft-bot om die als eigen werk te laten spelen.
Vals haalt 40 miljoen op voor onafhankelijke AI-tests
Vals AI haalde 40 miljoen dollar op bij a16z voor onafhankelijke AI-benchmarks. Op echte financiele analistentaken halen topmodellen slechts 52 procent.
Shanghai AI Lab zet 744B-agentmodel Atria Dawn open
Shanghai AI Lab bracht Atria Dawn Preview uit: een agentisch model van 744 miljard parameters onder MIT-licentie, gebouwd op GLM-5.2, met 256K context en hoge zelfgerapporteerde benchmarkscores.
Alibaba leidt ronde van 300 miljoen in testlab UniPat
Alibaba en Tencent steken 300 miljoen dollar in UniPat AI, een nog geen jaar oud Chinees bedrijf dat AI-modellen test en benchmarkt, tegen een waardering van 2,5 miljard dollar.
OpenAI paste benchmarkcijfers van Astra na lancering aan
Fortune vergeleek archiefkopieën van de GPT-6 Astra-aankondiging en zag hallucinatie-, wiskunde- en cybersecurityscores na de lancering veranderen, soms twee keer.
Qwen3.8-Max klimt naar de top van Code Arena
Alibaba’s Qwen3.8-Max-0902 staat bovenaan Code Arena WebDev met 1.691 punten, drie boven Claude Opus 5. Op TerminalBench en DeepSWE blijft Opus 5 voor. De prijs blijft 2 en 6 dollar per miljoen tokens.
Claude Fable 5.1 verdubbelt score op wetenschapstaken
Anthropic brengt Claude Fable 5.1 en Mythos 5.1 uit. Betere scores op onderzoek- en codeerbenchmarks, en cache reads worden 75 procent goedkoper.
DeepMind test Gemini zonder de vragen te zien
Google DeepMind toetste een Gemini-model op vragen die Google nooit te zien kreeg. De cryptografische opzet moet benchmarkbesmetting uitsluiten en onafhankelijke controle mogelijk maken.