OpenAI meet met LifeVal hoe goed AI alledaagse klussen doet

Een kinderopvang zoeken na een verhuizing, een weekmenu maken voor een vader met net vastgestelde diabetes, een formulier bij de overheid invullen. Op dat soort klussen wil OpenAI zijn modellen voortaan afrekenen. Het bedrijf presenteerde op 2 november LifeVal, een interne benchmark voor persoonlijke assistentietaken. Volgens OpenAI stuurt de test al ongeveer een jaar mee in de ontwikkeling van nieuwe modellen.

Gebouwd op hoe mensen hun tijd besteden

OpenAI begon bij tijdsbestedingsonderzoek: de American Time Use Survey van het Amerikaanse Bureau of Labor Statistics en de Multinational Time Use Study. Lang niet alles wat mensen op een dag doen, laat zich aan een assistent overlaten. Daarom ondervroeg het bedrijf ook een representatieve groep van 3.995 mensen, meldt AI Weekly. Ongeveer honderd deelnemers hielden bij welke taken ze echt zouden willen uitbesteden, inclusief hun persoonlijke omstandigheden.

Dat leverde scenario’s op in domeinen als mantelzorg, gezondheid, onderwijs, huishoudelijke administratie, persoonlijke financiën, boodschappen en overheidsdiensten. AlphaSignal noemt als voorbeelden het zoeken naar een huurwoning, het kiezen van een school en het coördineren van vrijwilligers in een buurt.

Een rubric per scenario

Bij dit soort taken bestaat zelden één juist antwoord. LifeVal werkt daarom met een eigen beoordelingsschema per scenario. Een schoolzoektocht wordt volgens AlphaSignal gescoord op lesgeld, afstand, rooster, toelatingseisen en voorzieningen. Bij een boodschappentaak tellen dieetwensen, prijs, hoeveelheid en beschikbaarheid mee. Het gaat om de vraag of de uitkomst past bij wat de gebruiker wilde. Netjes alle stappen doorlopen is daarvoor niet genoeg.

OpenAI positioneert LifeVal als tegenhanger van GDPval, dat werktaken meet. Ook wil het bedrijf verder kijken dan benchmarks voor computergebruik zoals OSWorld en WebArena, die vooral controleren of een agent een workflow afrondt.

De laatste procenten zijn het lastigst

De gepubliceerde cijfers tonen eerst een grote sprong en daarna een plateau. GPT-5.2 haalde een gemiddelde score van 49,3 procent. GPT-5.4 kwam uit op 73,0 procent, GPT-5.5 op 77,4 procent en GPT-5.6 op 80,0 procent. Het nieuwste model, GPT-6 Astra, scoort 80,6 procent. Op losse scenario’s ligt Astra hoger, met 93,1 procent voor het vinden van een kleuterschool na een verhuizing en 98,0 procent voor het aansturen van vrijwilligers rond een overstroming.

Daar hoort een flinke kanttekening bij. De taakset is niet openbaar, er is geen leaderboard en modellen van andere makers kunnen niet meedoen. OpenAI beoordeelt de eigen modellen met eigen graders. AlphaSignal wijst erop dat buitenstaanders de weging van de rubrics, de kalibratie van de beoordelaars en het aantal pogingen per taak niet kunnen controleren. Omdat de test een jaar lang tijdens de ontwikkeling is gebruikt, is ook onduidelijk hoe onbekend de taken nog zijn voor de modellen.

Onafhankelijke metingen geven een soberder beeld. Op de GDPx-benchmark van SemiAnalysis kwam de beste agent eerder deze week niet verder dan 12 procent op lange opdrachten van experts.

Wat betekent dit

OpenAI verlegt de meetlat van examens en code naar het huishouden. Dat sluit aan bij de koers van het bedrijf, dat met dots werkt aan een assistent die altijd aanstaat en met GPT-6.1 Terra goedkopere modellen in ChatGPT en Codex zet. Voor gebruikers is de belofte tastbaar: een assistent die rekening houdt met je budget, de reistijd en het dieet van je ouders.

LifeVal is wel een test die OpenAI zelf ontwerpt, afneemt en nakijkt. Zolang de taken dicht blijven, zegt 80,6 procent vooral iets over de vooruitgang binnen OpenAI. Hoe ChatGPT het doet tegenover Claude of Gemini bij het regelen van een opvangplek, weet nog niemand.