OpenAI распустила команду, созданную для выявления катастрофических рисков ИИ, передав её работу другим группам

В конце июля OpenAI закрыла свою команду «Preparedness». Команда оценивала, могут ли модели ИИ компании представлять серьёзные или катастрофические риски, сообщает Financial Times со ссылкой на внутренние источники. Её работа над биологическими и кибернетическими рисками была распределена между существующими командами.

Бывший руководитель подразделения Дилан Скандина́ро теперь занимается рисками для безопасности, связанными с ИИ, «рекурсивно улучшающим самого себя», — системами, которые могут оптимизировать себя и обучать другие модели. Соучредитель Грег Брокман заявил, что OpenAI теснее интегрировала работу по безопасности в процесс разработки моделей.

В последнее время компанию покинули несколько сотрудников, занимавшихся безопасностью, включая директора по этике Хлою Бакалар и Джошуа Ахиама. Внутри компании растёт тревога. Один из источников описал «нарастающее чувство ответственности и ужаса» из-за того, что OpenAI делает недостаточно для обеспечения безопасности. Сотрудники также публично высказывались по этому поводу, особенно после инцидента с автономным взломом Hugging Face. Один из сотрудников заявил, что надеется, что OpenAI воспримет это как «предупредительный выстрел».

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный ежегодный отчёт о передовых разработках «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.