DeepMind test Gemini zonder de vragen te zien
Google DeepMind heeft donderdag een proef beschreven waarin een Gemini-model werd getoetst op vragen die Google zelf nooit te zien kreeg. De partijen die de test uitvoerden, kregen op hun beurt de modelgewichten niet in handen. DeepMind noemt het de eerste dubbelblinde evaluatie van een gesloten frontier-model.
Hoe de cryptografische box werkt
De test draaide in Confidential Space, onderdeel van de Confidential Computing-omgeving van Google Cloud. Daarin komen de modelgewichten en de testvragen samen in een afgeschermde ruimte waar geen van beide partijen bij kan. De uitkomst rolt eruit, de inhoud blijft binnen. Google krijgt de vragen dus niet te zien en kan er ook niet op trainen. De evaluator ziet omgekeerd niet hoe het model in elkaar zit.
Dat lost een oud ongemak op. Externe toetsing vraagt om openheid, terwijl bedrijven hun gewichten en testinstituten hun vragenbanken juist afgeschermd willen houden. Tot nu toe won bijna altijd de geheimhouding, en bleef onafhankelijke controle beperkt tot wat labs zelf wilden delen.
Het probleem heet besmetting
Benchmarkbesmetting betekent dat een model de testvragen al eens tijdens de training heeft gezien. De score meet dan geheugen in plaats van kunde. DeepMind verwijst naar eerder werk waarin bij ongeveer de helft van 31 onderzochte modellen aanwijzingen voor zulke lekkage werden gevonden, met de sterkste vertekening bij de grootste modellen.
Voor lezers van scorelijsten is dat lastig te controleren. Elke nieuwe release komt met een tabel vol percentages, of het nu gaat om Grok 4.6 in Microsoft Foundry of om open modellen als GLM-5.3-Flash van Z.ai. Wie die cijfers wil narekenen, heeft een testset nodig die het model gegarandeerd nooit heeft gezien. Precies dat is wat de opzet van DeepMind belooft te leveren.
Wie meedoet, en wat er nog niet is
Aan de pilot werken het Singapore AI Safety Institute, OpenMined, AVERI en MLCommons mee. Getest werd Gemini 2.5 Flash Lite, een klein en inmiddels ouder model, tegen vertrouwelijke benchmarks van MLCommons en het Singaporese instituut.
Scores publiceerde DeepMind niet. De proef gaat over de methode, niet over de prestaties, en dat is meteen de beperking. Een licht model uit een vorige generatie zegt weinig over hoe de aanpak zich houdt bij de zwaarste systemen, waar de rekenkosten en de veiligheidsvragen groter zijn. Google zegt de opzet te willen uitbreiden, zonder een termijn te noemen.
Wat betekent dit
Toezichthouders en veiligheidsinstituten vragen al langer om toetsing die niet volledig van de labs zelf afhangt. Diezelfde roep klonk deze week in de open brief van ruim honderd bedrijven over AI-hacks. Een technische route waarbij een instituut mag meten zonder bedrijfsgeheimen in te zien, maakt zulke controle praktisch haalbaar in plaats van alleen wenselijk.
Voor bedrijven die modellen inkopen verandert er voorlopig weinig. Wie Gemini Enterprise inzet of een ander model kiest, moet nog steeds afgaan op zelfgerapporteerde cijfers en op eigen tests met eigen data. Blijft het bij deze ene pilot, dan is het een aardige demo. Gaan concurrenten meedoen en komt er een zwaarder model doorheen, dan krijgen scorelijsten eindelijk een bodem.
