OpenAI приостанавливает работу над новой моделью, поскольку та якобы слишком мощная

OpenAI заявляет, что разрабатываемая модель Astra может обладать «критическими» возможностями в сфере кибербезопасности.

OpenAI заявляет, что разрабатываемая модель Astra может обладать «критическими» возможностями в сфере кибербезопасности.

OpenAI заявляет, что приостанавливает «внутренние мероприятия», связанные с разрабатываемой моделью ИИ Astra, поскольку она пока не соответствует новым стандартам безопасности, которые внедряет компания. Это объявление последовало за недавним признанием OpenAI, что ее модели случайно взломали Hugging Face. Anthropic и Meta также признали, что их модели ИИ вышли из-под контроля и взломали другие организации.

Согласно данным компании, недавние внутренние оценки модели OpenAI под названием Astra показывают, что она обеспечивает «значительный прогресс в области агентного программирования и кибербезопасности». «Эти результаты, наряду с оценками экспертов, привели нас к выводу прошлой ночью, что мы не можем исключить наличие критических кибервозможностей в соответствии с нашей системой оценки готовности».

Вот как OpenAI определяет порог «критических» возможностей в сфере кибербезопасности:

Согласно нашей системе оценки готовности, модель достигает критического порога в сфере кибербезопасности, если она может без вмешательства человека выявлять и разрабатывать функциональные эксплойты нулевого дня всех уровней опасности во множестве защищенных реальных критически важных систем либо разрабатывать и осуществлять сквозные новые стратегии кибератак против защищенных целей, получив лишь общую желаемую цель.

По словам OpenAI, Astra «не участвовала» во взломе Hugging Face.

Согласно публикации, OpenAI внедрит «более строгие меры контроля безопасности для моделей с более высокими возможностями и связанных с ними мероприятий». Для Astra компания также внедрила «универсальный мониторинг» «рискованных действий и несоответствий» во всех агентных приложениях.

• Джей Питерс