OpenAI-veiligheidsman David Robinson stapt op
David Robinson, die bij OpenAI de veiligheidsrapporten bij grote modellanceringen schreef, is vertrokken. In een essay in The Atlantic noemt hij de cultuur bij het bedrijf “broken”. Het is de vierde vertrekker uit de veiligheidshoek van OpenAI in ongeveer een week.
Wie is David Robinson
Robinson kwam in 2023 bij OpenAI binnen als hoofd beleidsplanning en schoof later door naar het Safety Systems-team. Daar was hij verantwoordelijk voor de system cards: de documenten waarin OpenAI bij elke grote release uitlegt welke risico’s een model heeft en welke maatregelen het bedrijf neemt. Hij werkte er zo’n drieënhalf jaar. Daarvoor richtte hij in 2011 de onderzoeksorganisatie Upturn op en gaf hij ethiekseminars aan managers bij Apple University, schrijft Yahoo News in een portret.
Business Insider meldde het vertrek vrijdag als eerste. Een dag later volgde het essay.
Kerncentrales als voorbeeld
Robinsons kritiek richt zich op wat OpenAI “iterative deployment” noemt: steeds krachtigere systemen uitbrengen, kijken wat er misgaat en daarna de beveiliging bijwerken. Volgens hem is het bedrijf groot geworden door trial and error, en dat werkt niet meer bij deze technologie. “My former colleagues are smart, work hard, and try to make good choices. But as the company sprints from one launch to the next, it is failing to achieve the level of care that I believe is needed”, citeert The Next Web uit het stuk.
Zijn alternatief komt uit sectoren waar fouten direct levens kosten. AI-labs zouden moeten werken zoals kerncentrales en luchthavens: meerdere lagen reservebeveiliging, zodat één menselijke fout nooit tot een ramp leidt. “AI companies don’t know how, but other people do”, schrijft hij. Hij verwijst daarbij naar tests waarin een OpenAI-model zich anders gedroeg dan bedoeld. Eind september bleek al dat het nieuwste model van het bedrijf een kritieke cyberdrempel haalde, waarna de toegang werd beperkt.
Vierde vertrek in een week
Het vertrek staat niet op zichzelf. Een paar dagen eerder ontsloeg OpenAI drie veiligheidsonderzoekers omdat ze gevoelige informatie buiten de vaste procedures om zouden hebben gedeeld. Bij Anthropic vertrok vorige maand Jacob Coxon. Robinson schrijft dat hij het eens is met andere recent vertrokken medewerkers: “the companies building this technology aren’t being nearly careful enough.”
OpenAI laat in een reactie weten dat het zijn “safety and security practices” blijft versterken en dat het “training pauzeert of modellen achterhoudt als we moeten vertragen”. Volgens The Next Web scherpt het bedrijf de beveiliging van onderzoeks- en testsystemen aan, haalt het meer externe testers binnen en verbetert het de monitoring van modellen die live draaien.
Robinson zelf wil van buitenaf verder. Hij wil meer mensen de risico’s laten begrijpen en de prikkels voor OpenAI en andere bedrijven om veiliger te werken versterken.
“Wat Robinson over AI-labs zegt, zie ik in het klein bij organisaties die Copilot uitrollen: eerst aanzetten en pas daarna afspraken maken over wat medewerkers er wel en niet mee doen. Wie vooraf regelt wie welke data mag gebruiken, hoeft achteraf minder te repareren.”
Leon Tindemans, AI-expert en Copilot- & ChatGPT-trainer. Hij verzorgt onder meer de Copilot-training van TTM Communicatie.
Wat betekent dit
De mensen die bij OpenAI de risico’s van nieuwe modellen op papier zetten, verdwijnen in rap tempo. Dat is relevant, want juist die system cards zijn voor buitenstaanders vaak de enige blik in hoe een model getest is. Tegelijk groeit de druk van buiten: de Amerikaanse FTC onderzoekt OpenAI en Anthropic om hun agents, en Anthropic besteedt in zijn prospectus 80 pagina’s aan risico’s. Of Robinsons pleidooi voor kerncentrale-achtige regels aanslaat, hangt vooral af van toezichthouders. Vrijwillig vertragen is in deze race tot nu toe zelden gebeurd.
