Фільтр Anthropic для захисту від біологічної зброї не працював майже рік, залишивши без фільтрації 133 мільйони запитів

Від компанії, генеральний директор якої називає розробку хімічної та біологічної зброї за допомогою ШІ більшою загрозою, ніж кібератаки, надійшов звіт про безпеку, який показує, що біологічні класифікатори Anthropic для блокування були неактивними з травня 2025 року до квітня 2026 року. Ці фільтри призначені для того, щоб не допустити використання моделей ШІ для отримання небезпечних знань про хімічну чи біологічну зброю. Майже рік увесь трафік від зовнішніх підрядників, які надавали зворотний зв’язок від людей, проходив без них.

Проблема торкнулася групи приблизно з 50 000 людей, які провели з моделями близько 133 мільйонів чатів. За словами Anthropic, цих людей перевіряли лише зовнішні постачальники, чиї процедури перевірки часто були недостатніми. Anthropic заявляє, що внутрішнє розслідування не виявило жодних доказів фактичного зловживання. Відтоді компанія посилила вимоги до підрядників.

Anthropic також нещодавно послабила свої класифікатори у Fable 5 після того, як дослідники поскаржилися, що фільтри були настільки агресивними, що блокували легітимні дослідження.

Новини про ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові технології «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.