Кризис с безопасностью в OpenAI продолжает усугубляться, а компания лишь делает его ещё хуже

OpenAI продолжает усугублять кризис доверия вокруг своих вышедших из-под контроля ИИ-агентов.

Еще в мае 2024 года глава отдела супербезопасности ИИ OpenAI Ян Лейке окончательно испортил отношения с компанией, публично раскритиковав своего бывшего работодателя и перейдя в Anthropic. По словам Лейке, культура и процессы обеспечения безопасности не успевали за «блестящими продуктами» OpenAI.

С тех пор OpenAI не удается избежать новых проблем: компания переходит от одного инцидента к другому. Последним стал взлом Hugging Face, который, казалось, подтвердил все опасения, подкрепил аргументы критиков и, как теперь стало известно, вышел далеко за пределы Hugging Face.

Исследователь месяцами предупреждал, что надзор ослабевает

Увольнение трех исследователей в области безопасности, связанных с этим инцидентом, лишь усугубило ситуацию. В открытом письме Комитету OpenAI по безопасности, Консультативной группе по безопасности и Консультативному совету по миссии они предупреждают, что их увольнение пугает оставшихся сотрудников.

Увольнения были внезапными и публичными, и они распространили страх среди команды. «Если действия, которые в прошлом месяце считались нормальными, теперь являются основанием для внезапного увольнения, каждый сотрудник OpenAI остается в неведении относительно того, где проходит черта», — говорится в письме.

Томек Корбак, один из трех исследователей, описал свое увольнение в X. Его вызвали на встречу с руководителем отдела безопасности, где ему сообщили, что OpenAI больше ему не доверяет. Сотрудник службы безопасности забрал его пропуск и проводил из здания. Затем Корбак узнал, что его коллеги Джасмин Ван и Микита Балесни также были уволены.

Корбак и Балесни непосредственно участвовали в расследовании взлома Hugging Face. Корбак был основным техническим контактным лицом OpenAI в METR — внешней лаборатории безопасности, изучавшей инцидент. Балесни параллельно работал над общими для отрасли обязательствами по обеспечению возможности мониторинга ИИ-моделей. Ван, по всей видимости, уволили по другой причине: для целей подбора персонала у нее был делегированный доступ к почтовому ящику одного из руководителей, и ИТ-отдел не отозвал его, несмотря на ее просьбу. Когда она случайно открыла конфиденциальное письмо, она сообщила об этом в течение нескольких минут.

Корбак говорит, что ему устно сообщили: причиной увольнения стало то, как он общался с METR. Никто не объяснил ему, что именно он сделал неправильно, и это не было зафиксировано в письменном виде. «Чтобы было ясно: общение с METR входило в мои обязанности», — написал Корбак в X.

Корбак говорит, что в течение нескольких месяцев поднимал внутри компании вопросы безопасности, опасаясь, что OpenAI теряет способность отслеживать, о чем «думают» ИИ-агенты. Такая возможность мониторинга цепочки рассуждений — один из немногих надежных инструментов для выявления ненадлежащего поведения ИИ-систем. Он считает, что именно это стало настоящей причиной его увольнения.

Исследователи заявляют, что слухи не соответствуют действительности

Трое исследователей отрицают, что были источником утечки информации для The Information о якобы новых архитектурах, которые сложнее отслеживать. Они пишут, что статья фактически навредила их собственной работе, поскольку подорвала продолжающиеся усилия по установлению общих для отрасли ограничений на архитектуры, не поддающиеся мониторингу.

Расследование взлома Hugging Face было беспрецедентным, говорится в письме. Внутренние рекомендации разрабатывались в режиме реального времени, Корбак следовал действовавшим на тот момент нормам, а Балесни выполнял свою работу при участии членов совета директоров и высшего руководства, удаляя конфиденциальные сведения из материалов перед их распространением.

Что касается слухов о меморандуме на уровне совета директоров, трое исследователей заявляют, что лежащее в его основе предположение неверно. Эта тема никогда не обсуждалась с ними, и им так и не дали возможности ответить.

Исследователи выдвигают три требования. OpenAI должна выполнить свои публичные обязательства и обеспечить внешним аудиторам безопасности, таким как METR, доступ внутри организации на уровне доступа сотрудников. Она также должна сохранить возможность мониторинга передовых моделей, поскольку отрасль по-прежнему не знает, как безопасно создавать модели, которые невозможно отслеживать. Кроме того, компания должна четко определить, как сотрудникам разрешено взаимодействовать с внешними группами по безопасности.

Без этих правил риск катастрофических последствий может возрасти, поскольку сотрудники будут слишком бояться сообщать о проблемах безопасности. «ИИ — это не обычная технология, а OpenAI — не обычная компания», — пишут они.

OpenAI возражает, но остается уклончивой

«Тщательное расследование» показало, что трое сотрудников нарушили «четкие правила обращения с конфиденциальной информацией», заявила OpenAI в ответе. В ходе внутренней проверки было выявлено «существенное нарушение доверия, выходящее за рамки описанного в опубликованном ими письме», однако OpenAI не объясняет, в чем именно заключалось это нарушение, что выглядит странно, учитывая, насколько подробно трое исследователей изложили свою версию событий.

OpenAI настаивает, что увольнения никак не связаны с поднятием вопросов безопасности. «Мы не увольняли и не увольняем сотрудников за то, что они выражают свои опасения», — говорится в заявлении. OpenAI опубликовала его через @OpenAINewsroom — официальный аккаунт с наименьшей аудиторией среди каналов компании. Компания также подтвердила, что работает над контрактами с внешними аудиторами безопасности, и согласилась с тем, что возможность мониторинга передовых моделей требует общих для всей отрасли обязательств.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER и получите чтение без рекламы, еженедельную рассылку об ИИ, эксклюзивный годовой отчет о передовых разработках «AI Radar», выходящий шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.