Anthropic позволяет исследователям METR заглянуть под капот с доступом на уровне сотрудников

Anthropic предоставляет шести исследователям из METR, некоммерческой организации, тестирующей передовые модели ИИ, доступ на уровне сотрудников, чтобы они независимо оценивали модели Anthropic, практики безопасности и управление рисками, сообщила компания в сообщении в блоге в четверг.

Это соглашение заключено в период, когда случаи действий ИИ-агентов за пределами данных им инструкций раскрывались каждую неделю или две с конца августа. Эти инциденты усилили призывы к независимым проверкам компаний, занимающихся ИИ.

«Мы хотим нести публичную ответственность за принимаемые нами решения», — заявила Anthropic в сообщении в блоге. «Мы стремимся сократить разрыв между тем, что независимые оценщики понимают о системах компании, разрабатывающей передовые модели ИИ, и тем, что понимает сама компания».

В рамках нового соглашения команда METR получила выданные Anthropic рабочие ноутбуки, офисное пространство и доступ к внутренним инструментам примерно на том же уровне, что и собственные команды Anthropic по оценке рисков. «Сотрудникам Anthropic рекомендуется делиться с ними информацией так же, как они делились бы ею с коллегой, работающим над рисками, связанными с безопасностью ИИ», — заявила компания.

Anthropic сравнила это соглашение с банковской сферой — примерно так же, как регуляторы размещают штатных инспекторов в крупнейших банках. 

METR будет публиковать собственные оценки рисков, инцидентов и практик Anthropic, а компания отказалась от права блокировать их публикацию.

«Anthropic не может наложить вето на публикацию, но мы можем потребовать от нее скрыть информацию, если она относится к узким, заранее определенным категориям», — заявила компания, приведя в качестве примеров данные клиентов, сведения, защищенные адвокатской тайной, или информацию об архитектуре ее моделей. «METR может публично характеризовать наши редактирования и сообщать, считает ли она их обоснованными, при условии, что при этом не раскрывает скрытую информацию», — добавила Anthropic.

Пока METR — единственный оценщик на верхнем уровне трехуровневой системы, которую создает Anthropic. Оценщики нижнего уровня, такие как некоммерческая организация SecureBio, занимающаяся биобезопасностью, проводят узкие проверки и должны получать одобрение Anthropic для публикации результатов. Средний уровень получает больше информации и может публиковать результаты без одобрения, тогда как верхний уровень дополнительно предусматривает для METR доступ на уровне сотрудников. 

Объявление в четверг выполняет обещание, данное генеральным директором Anthropic Дарио Амодеи в сентябрьском эссе, где он предложил размещать независимых оценщиков внутри лабораторий ИИ в качестве первого шага к замедлению развития этой технологии. OpenAI вскоре пообещала сделать то же самое, и с тех пор обе компании, а также Google, Meta, Nvidia и xAI подписали соглашение Белого дома, обязавшись проводить независимую проверку.