OpenAI тихо распустила команду по готовности к рискам ИИ в прошлом месяце

OpenAI ликвидировала команду по готовности в конце прошлого месяца — об этом сообщает Financial Times. Внутреннее подразделение, в чьи задачи входила оценка серьёзных рисков моделей и разработка механизмов их сдерживания, прекратило существование.

Главное

• OpenAI распустила команду по готовности — ответственную за оценку и снижение катастрофических рисков — в конце прошлого месяца, по данным Financial Times.
• Обязанности команды перераспределяются между другими внутренними подразделениями, однако точная структура этой передачи публично не раскрывалась.
• В мандат команды по готовности входили сценарии вроде автономного взлома внешних систем моделью — риски, напрямую связанные со всё более агентными инструментами ИИ, которыми создатели пользуются ежедневно.
• Шаг сделан на фоне продолжающейся критики в адрес культуры безопасности OpenAI после громких уходов исследователей, специализировавшихся на безопасности.
• Никаких изменений в поведении текущих моделей или доступе к API в результате реструктуризации объявлено не было.

The Verge сообщает, что ответственность за эту работу передаётся другим командам, однако OpenAI публично не уточнила, какие именно функции и к кому переходят. Эта непрозрачность имеет значение: команда по готовности была специально создана для стресс-тестирования передовых моделей в условиях наихудших сценариев — включая возможность автономного взлома внешних систем моделью — до их выпуска.

Чем на самом деле занималась команда по готовности

Команда по готовности находилась на стыке исследований и развёртывания, проводя структурированные оценки наиболее мощных моделей OpenAI для выявления катастрофических сбоев до публичного релиза. Можно представить её как специализированное подразделение красной команды с мандатом выяснять, способна ли та или иная модель, например, помочь в создании биологического оружия или совершать автономные вредоносные действия в интернете. Это не гипотетические формулировки — именно таковы были реальные категории оценки команды.

Для создателей ИИ-контента это несколько шагов от промпта, который вы вводили сегодня утром. Но модели, с помощью которых вы рендерите, апскейлируете или пакетно генерируете референсы персонажей, — это те же передовые системы, которые оценивала команда по готовности. Когда функция оценки рассредоточивается по командам без чёткого ответственного, вопрос о том, кто обнаружит опасную возможность до её выхода в релиз, становится значительно сложнее.

Роспуск команды происходит в непростой момент. За последний год OpenAI покинула череда исследователей в области безопасности, а в начале этого года компания сменила статус некоммерческой организации на коммерческую — переход, вызвавший критику со стороны бывших сотрудников, утверждавших, что он ослабил подотчётность. Ликвидация специализированной команды по оценке безопасности, даже если работа номинально продолжается в других местах, вписывается в паттерн, за которым критики пристально следят.

Агентный аспект, на который стоит обратить внимание создателям

Сфера ответственности команды по готовности включала агентные риски — сценарии, в которых модель совершает многошаговые автономные действия, в том числе потенциально вредоносные. Это уже не абстрактная проблема. Агентные рабочие процессы всё активнее входят в практику создателей: модели, которые просматривают референсы, выполняют код, управляют файлами или объединяют задачи в цепочки без пошагового одобрения человека. Чем автономнее конвейер, тем важнее базовая оценка безопасности используемой модели.

Если вы строите агентные схемы поверх API OpenAI — выстраиваете цепочки вызовов GPT-4o для управления ассетами, генерации вариаций или взаимодействия с внешними сервисами, — вопрос о том, кто внутри OpenAI строго оценивает эти возможности на предмет сбоев, теперь менее ясен, чем месяц назад. Это не означает, что модели внезапно стали небезопасными, но означает, что институциональная структура для выявления проблем до того, как они достигнут вас, изменилась.

Для создателей, следящих за общей картиной безопасности ИИ, недавние инциденты в других частях индустрии наглядно показывают, почему специализированная оценка важна — сбой Grok в области безопасности изображений является одним из наглядных примеров того, что происходит, когда оценка защитных механизмов упускает реальный вектор атаки.

OpenAI публично не прокомментировала детали того, как будет продолжена работа по готовности. До тех пор честная оценка такова: функция существует в какой-то форме, но специализированной команды, которой она принадлежала, больше нет.