Theo transforme l'actualité de l'IA en choses à essayer dès ce soir.
Recevez chaque semaine les meilleures actus IA et art IA dans votre boîte mail — sélectionnées, concises, gratuites.
Gratuit. Désabonnement à tout moment.
Choisissez un compagnon et découvrez son avis sur cette histoire
OpenAI a fermé son équipe de préparation à la fin du mois dernier, selon le Financial Times — supprimant ainsi le groupe interne dont la mission était d'évaluer si ses modèles présentaient des risques sérieux et de concevoir des moyens de les contenir.
L'équipe de préparation d'OpenAI, chargée d'évaluer les risques catastrophiques liés aux modèles, a été dissoute à la fin du mois dernier selon le Financial Times.
Image : The Verge / The Verge AI
The Verge rapporte que la responsabilité de ce travail est intégrée à d'autres équipes, bien qu'OpenAI n'ait pas précisé publiquement quelles équipes absorbent quelles fonctions. Ce manque de transparence est important : l'équipe de préparation était spécifiquement mandatée pour soumettre les modèles frontière à des tests de résistance face aux pires scénarios — y compris la possibilité qu'un modèle compromette de manière autonome des systèmes externes — avant que ces modèles ne soient déployés.
L'équipe de préparation se situait entre la recherche et le déploiement, menant des évaluations structurées sur les modèles les plus performants d'OpenAI afin d'identifier les modes de défaillance catastrophiques avant la mise en production. Imaginez-la comme une unité de red-team dédiée, dont le mandat consistait à se demander si un modèle donné pouvait, par exemple, aider à créer des armes biologiques ou effectuer des actions nuisibles de manière autonome sur internet. Ce ne sont pas des formulations hypothétiques — c'étaient les véritables catégories d'évaluation de l'équipe.
Pour les créateurs IA, cela peut sembler éloigné du prompt que vous avez saisi ce matin. Mais les modèles avec lesquels vous générez des rendus, effectuez des upscales ou produisez en masse des références de personnages sont les mêmes systèmes frontière qu'évaluait l'équipe de préparation. Lorsque cette fonction d'évaluation se diffuse entre plusieurs équipes sans responsable clairement désigné, la question de savoir qui détecte une capacité dangereuse avant son déploiement devient véritablement plus difficile à répondre.
Cette dissolution survient également dans un moment délicat. OpenAI a vu une série de chercheurs axés sur la sécurité quitter l'entreprise au cours de l'année écoulée, et la société a converti son statut d'organisation à but non lucratif en structure à but lucratif plus tôt cette année — une transition qui a suscité des critiques de la part d'anciens employés, qui ont soutenu qu'elle affaiblissait la responsabilité. Supprimer une équipe dédiée à l'évaluation de la sécurité, même si le travail se poursuit nominalement ailleurs, s'inscrit dans un schéma que les critiques suivent de près.
Le périmètre de l'équipe de préparation incluait le risque agentique — des scénarios dans lesquels un modèle effectue des actions autonomes en plusieurs étapes, y compris potentiellement nuisibles. Ce n'est plus une préoccupation abstraite. Les flux de travail agentiques font de plus en plus partie du quotidien des créateurs : des modèles qui parcourent des références, exécutent du code, gèrent des fichiers ou enchaînent des tâches sans validation humaine à chaque étape. Plus le pipeline est autonome, plus l'évaluation de sécurité sous-jacente de ce modèle est importante.
Si vous construisez des configurations agentiques sur les API d'OpenAI — en enchaînant des appels GPT-4o pour gérer des assets, générer des variations ou interagir avec des services externes — la question de savoir qui, au sein d'OpenAI, évalue rigoureusement ces capacités pour détecter les modes de défaillance est désormais moins claire qu'il y a un mois. Cela ne signifie pas que les modèles sont soudainement dangereux, mais cela signifie que la structure institutionnelle permettant de détecter les problèmes avant qu'ils ne vous atteignent a changé.
Pour les créateurs qui suivent l'évolution globale de la sécurité de l'IA, des incidents récents survenus ailleurs dans l'industrie illustrent pourquoi une évaluation dédiée est essentielle — la défaillance de sécurité des images Grok en étant un exemple frappant de ce qui se produit lorsque l'évaluation des garde-fous manque un vecteur d'attaque réel.
OpenAI n'a pas commenté publiquement les modalités de la poursuite du travail de préparation. En attendant, la lecture honnête est la suivante : la fonction existe sous une certaine forme, mais l'équipe dédiée qui en était responsable n'existe plus.
