OpenAI розпустила команду, створену для виявлення катастрофічних ризиків ШІ, передавши її роботу іншим групам

OpenAI закрила свою команду «Preparedness» наприкінці липня. Команда оцінювала, чи можуть моделі ШІ компанії становити серйозні або катастрофічні ризики, повідомляє Financial Times із посиланням на внутрішні джерела. Її роботу над біологічними та кібернетичними ризиками розподілили між наявними командами.

Колишній керівник підрозділу Dylan Scandinaro тепер зосереджується на ризиках для безпеки, пов’язаних із «ШІ, який рекурсивно самовдосконалюється», — системами, здатними оптимізувати себе та навчати інші моделі. Співзасновник Greg Brockman заявив, що OpenAI тісніше інтегрувала роботу над безпекою в процес розробки моделей.

Останнім часом компанію залишили кілька фахівців із безпеки, зокрема директорка з етики Chloe Bakalar і Joshua Achiam. Усередині компанії зростає занепокоєння. Одне з джерел описало «наростаюче відчуття відповідальності й тривоги» через те, що OpenAI робить недостатньо для забезпечення безпеки. Співробітники також публічно висловлювалися, особливо після автономного інциденту зі зламом Hugging Face. Один зі співробітників заявив, що сподівається, що OpenAI сприйме це як «попереджувальний постріл».

Новини про ШІ без хайпу — добірка від людей

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові розробки «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.