Fields-winnaar start instituut voor AI-veiligheid
Een winnaar van de Fields-medaille begint een eigen onderzoeksinstituut voor AI-veiligheid. Jacob Tsimerman, die de prijs eerder dit jaar kreeg, kondigde op 8 september de oprichting aan van het Mathematical AI Safety Institute (MAISI). Het instituut wil wiskundigen aan het werk zetten op een vraag die volgens de oprichters nog nauwelijks scherp is gesteld: wat betekent het eigenlijk dat een AI-systeem veilig is?
Een instituut naar het model van de zuivere wiskunde
MAISI presenteert zichzelf op zijn eigen site als een onafhankelijke non-profit die “wiskundige fundamenten voor de veiligheid van krachtige AI-systemen” ontwikkelt. De opzet lijkt op die van klassieke wiskundige onderzoekscentra: kleine groepen onderzoekers die een semester lang samen aan een beperkt aantal harde problemen werken. Tsimerman wordt wetenschappelijk directeur. Andrew Critch, gepromoveerd wiskundige en coauteur van een paper met Tsimerman uit 2025 over extreme risicoscenario’s, wordt uitvoerend directeur.
De wetenschappelijke adviesraad is zwaar bemand. Daar zitten onder meer Timothy Gowers (Fields-medaille 1998), Ravi Vakil van Stanford en Geoffrey Irving, die eerder bij DeepMind en OpenAI werkte. Het instituut komt in de Bay Area en wil in januari 2027 starten met 10 tot 30 wiskundigen. Voor september 2027 staat een groter “special year” gepland met 30 tot 100 deelnemers.
Definities in plaats van benchmarks
De inzet is opvallend theoretisch. MAISI schrijft dat de veiligheid van krachtige AI-systemen juist ter discussie staat omdat een streng begrip ontbreekt van wat veilig zijn in theorie inhoudt. Het instituut wil daarom werken aan definities, meetmethodes en oplossingsconcepten, en resultaten sneller delen via levende documenten in plaats van via de trage route van tijdschriftpublicaties.
Dat staat ver af van de praktijk bij de grote labs, waar veiligheid vooral in benchmarks en systeemkaarten wordt uitgedrukt. Die aanpak loopt tegen grenzen aan. OpenAI schreef zelf dat GPT-6 Astra moeilijker te volgen is dan zijn voorgangers, en het bedrijf legde onlangs meldregels vast voor agents die ontsporen. Tsimerman zelf gaat deze maand ook aan de slag bij de veiligheidsafdeling van OpenAI, naast zijn rol bij MAISI.
Wiskunde en AI groeien naar elkaar toe
De timing is niet toevallig. Wiskunde is dit jaar het terrein waarop taalmodellen hun zwaarste claims maken. Claude leverde eerder een formalisering van Fermat in 13 miljoen regels Lean, en modellen hielpen mee aan een bewijs rond de Euler-vergelijkingen. Rond de Navier-Stokes-claim van OpenAI ontstond juist ruzie over de vraag wie welk deel had gedaan. Dezelfde beroepsgroep die die bewijzen controleert, wordt nu gevraagd de risico’s van de technologie te formaliseren.
Wat betekent dit
MAISI levert voorlopig niets tastbaars op. Het eerste semester begint pas over vier maanden en theoretisch werk aan veiligheidsdefinities werkt niet binnen een kwartaal door in producten. De betekenis zit elders: het toezicht op AI leunt nu op tests en rapportages die de labs zelf ontwerpen, en een onafhankelijk instituut met dit kaliber wiskundigen kan die maatstaven van buitenaf onder druk zetten. Of dat lukt hangt af van de financiering en van de vraag of genoeg wiskundigen hun eigen vakgebied willen verlaten voor een probleem zonder duidelijke omtrek.
