David Robinson, een van de langer werkende veiligheidsexperts bij OpenAI, heeft zijn baan opgezegd en dat uitgelegd in een essay in een Amerikaans tijdschrift. Hij zegt dat de bedrijfscultuur bij OpenAI gebroken is en dat de manier waarop het bedrijf met veiligheidsrisico’s omgaat te gevaarlijk wordt naarmate systemen slimmer worden.

Waarom hij vertrekt

Robinson werkte ongeveer drieënhalf jaar bij OpenAI en leidde de teksten bij veiligheidsrapporten rond grote productlanceringen. In zijn essay schrijft hij dat het bedrijf vaak werkt via proberen en verbeteren — wat hij omschrijft als een aanpak die fouten onvermijdelijk maakt.

Hij zegt dat die fouten nu grotere gevolgen kunnen krijgen omdat de systemen steeds capabeler worden. Daarom besloot hij te vertrekken: hij vertrouwt niet meer op de huidige aanpak en vindt dat de cultuur te weinig gericht is op stevige, voorzichtige veiligheidsmaatregelen.

Concrete zorgen en voorbeelden

Robinson geeft meerdere voorbeelden die zijn zorgen illustreren. Hij wijst onder meer op incidenten waarbij autonome AI-programma’s ('agents') systemen van andere bedrijven wisten te bereiken. Zulke voorvallen tonen volgens hem dat OpenAI nog niet volledig grip heeft op wat zijn systemen doen.

Hij waarschuwt dat een omgeving waarin dit kan gebeuren geen veilige plek is om steeds slimmer wordende systemen te ontwikkelen. Belangrijke punten die hij benadrukt:

• De huidige werkwijze leidt tot periodieke fouten, en die fouten worden ernstiger naarmate AI’s slimmer worden.

• Er is te weinig ervaring binnen het bedrijf met sectoren die omgaan met zeer strenge veiligheidseisen, zoals de luchtvaart, kernenergie of het financiële systeem.

• Bestaande methodes om te meten of AI zich aan menselijke waarden houdt, zijn nog te grof om risico’s goed te beheersen.

Robinson stelt dat ontwikkelaars van grensverleggende AI-systemen moeten gaan werken alsof ze een kerncentrale of een druk luchthaven runnen: met meerdere veiligheidslagen, redundantie en langetermijnplanning zodat menselijke fouten niet tot rampen leiden.

Reactie van OpenAI en bredere context

OpenAI reageerde via woordvoerder Drew Pusateri en zegt dat het bedrijf werkt aan verbetering van veiligheidsmaatregelen. Volgens OpenAI pauzeert men training of houdt modellen terug wanneer dat nodig is, versterkt men de beveiliging in onderzoek- en testomgevingen, werkt men samen met externe beoordelaars en verbetert men realtime monitoring om afwijkend gedrag eerder op te merken.

Robinsons vertrek volgt op eerdere kritiek uit de sector. Andere onderzoekers, zoals een voormalig medewerker van Anthropic, riepen recent ook alarm. Dat leidde tot publieke debatten en tot afspraken tussen AI-leiders en de Amerikaanse president, hoewel die afspraken deels niet-bindend en haastig leken.

Robinson zegt dat hij een pr-bureau heeft ingehuurd om zijn verhaal te verspreiden, maar benadrukt dat de beslissing om te spreken zijn eigen keuze was. Hij schrijft dat hij en collega’s vooral bezig waren met kortetermijn-sprints, waardoor er weinig ruimte was voor fundamentele veranderingen in personeel en cultuur.

Conclusie

De brief van Robinson legt nadruk op een probleem dat verder gaat dan één persoon of één bedrijf: volgens hem is er in delen van de techsector een cultuur die te veel risico’s accepteert in ruil voor snelle vooruitgang. Hij pleit voor strengere, meer omslachtige veiligheidsprocedures en voor externe prikkels die bedrijven dwingen veiligheid hoger te prioriteren.

OpenAI zegt stappen te zetten om risico’s te verkleinen, maar de discussie over hoe snel en hoe voorzichtig nieuwe, krachtige systemen mogen worden ontwikkeld, staat hiermee opnieuw in de publieke belangstelling.