OpenAI Heeft Vorige Maand Stilletjes Zijn AI-Veiligheidsteam Ontbonden

OpenAI heeft eind vorige maand zijn preparedness-team opgeheven, zo meldt de Financial Times — waarmee de interne groep werd afgeschaft die tot taak had te beoordelen of de modellen ernstige risico's vormden en manieren te ontwikkelen om die te beheersen.

Belangrijkste punten

• OpenAI heeft zijn preparedness-team — verantwoordelijk voor de beoordeling en beperking van catastrofale risico's — eind vorige maand ontbonden, aldus de Financial Times.
• De taken van het team worden herverdeeld over andere interne groepen, hoewel de exacte structuur van die overdracht niet publiekelijk is toegelicht.
• Het mandaat van het preparedness-team omvatte scenario's zoals een model dat autonoom externe systemen hackt — risico's die rechtstreeks verband houden met de steeds autonomer wordende AI-tools die creators dagelijks gebruiken.
• De stap komt op een moment dat OpenAI voortdurend onder de loep ligt vanwege zijn veiligheidscultuur, na het vertrek van prominente veiligheidsgerichte onderzoekers.
• Er zijn geen wijzigingen in het huidige modelgedrag of de API-toegang aangekondigd als gevolg van de herstructurering.

The Verge meldt dat de verantwoordelijkheid voor het werk wordt ondergebracht bij andere teams, hoewel OpenAI niet publiekelijk heeft toegelicht welke teams welke functies overnemen. Die onduidelijkheid is van belang: het preparedness-team was specifiek opgericht om frontiermodellen te stresstesten op worst-case-scenario's — inclusief de mogelijkheid dat een model autonoom externe systemen compromitteert — voordat die modellen werden uitgebracht.

Wat het preparedness-team daadwerkelijk deed

Het preparedness-team bevond zich tussen onderzoek en implementatie in, en voerde gestructureerde evaluaties uit op de meest capabele modellen van OpenAI om catastrofale faalwijzen te identificeren vóór publieke release. Beschouw het als een toegewijd red-team met het mandaat om te onderzoeken of een bepaald model bijvoorbeeld zou kunnen helpen bij het maken van biologische wapens of autonoom schadelijke acties op het internet zou kunnen ondernemen. Dat zijn geen hypothetische kaders — het waren de daadwerkelijke evaluatiecategorieën van het team.

Voor AI-creators staat dit een paar stappen verwijderd van de prompt die je vanochtend hebt ingevoerd. Maar de modellen waarmee je rendert, opschaalt of gebruikt om in bulk karakterreferenties te genereren, zijn dezelfde frontiersystemen die preparedness evalueerde. Wanneer die evaluatiefunctie zonder duidelijke eigenaar wordt verspreid over teams, wordt de vraag wie een gevaarlijke capability onderschept voordat die wordt uitgebracht aanzienlijk moeilijker te beantwoorden.

De ontbinding valt ook op een beladen moment. OpenAI heeft het afgelopen jaar een reeks veiligheidsgerichte onderzoekers zien vertrekken, en het bedrijf is eerder dit jaar omgezet van een non-profit naar een for-profit structuur — een overgang die kritiek uitlokte van voormalige medewerkers die stelden dat dit de verantwoording verzwakte. Het opheffen van een toegewijd veiligheidsevaluatieteam, ook al gaat het werk nominaal elders door, past in een patroon dat critici nauwlettend volgen.

De agentische invalshoek die creators in de gaten moeten houden

Het toepassingsgebied van het preparedness-team omvatte agentisch risico — scenario's waarbij een model meerstaps autonome acties onderneemt, inclusief mogelijk schadelijke. Dat is geen abstracte zorg meer. Agentische workflows maken steeds vaker deel uit van de manier waarop creators werken: modellen die referenties opzoeken, code uitvoeren, bestanden beheren of taken aan elkaar koppelen zonder stapsgewijze menselijke goedkeuring. Hoe autonomer de pipeline, hoe belangrijker de onderliggende veiligheidsevaluatie van dat model.

Als je agentische setups bouwt bovenop de API's van OpenAI — GPT-4o-aanroepen aan elkaar koppelt om assets te beheren, variaties te genereren of te communiceren met externe diensten — is de vraag wie binnen OpenAI die capabilities rigoureus evalueert op faalwijzen nu minder duidelijk dan een maand geleden. Dat betekent niet dat de modellen plotseling onveilig zijn, maar het betekent wel dat de institutionele structuur voor het opsporen van problemen voordat ze jou bereiken, is veranderd.

Voor creators die het bredere AI-veiligheidsbeeld in de gaten houden, illustreren recente incidenten elders in de industrie waarom toegewijde evaluatie belangrijk is — het Grok-beeld-veiligheidsfalen is een treffend voorbeeld van wat er gebeurt wanneer guardrail-evaluatie een reëel aanvalsvector mist.

OpenAI heeft zich niet publiekelijk uitgelaten over de specifics van hoe het preparedness-werk zal worden voortgezet. Tot die tijd is de eerlijke conclusie: de functie bestaat in enige vorm, maar het toegewijde team dat er eigenaar van was, niet meer.