Anthropic дозволяє дослідникам METR зазирнути під капот із доступом на рівні співробітників

Anthropic надає шістьом дослідникам із METR, неприбуткової організації, яка тестує передові моделі ШІ, доступ на рівні співробітників, щоб вони незалежно оцінювали моделі Anthropic, практики безпеки та управління ризиками компанії, йдеться в дописі в блозі компанії, опублікованому в четвер.

Ця домовленість укладена в період, коли випадки дій ШІ-агентів усупереч їхнім інструкціям розкриваються щотижня або раз на два з кінця серпня. Ці інциденти посилили заклики до незалежних перевірок компаній, що займаються ШІ.

«Ми хочемо бути публічно підзвітними за рішення, які ухвалюємо», — заявила Anthropic у дописі в блозі. «Ми прагнемо скоротити розрив між тим, що оцінювачі розуміють про системи компанії, яка розробляє передовий ШІ, і тим, що розуміє сама компанія».

Згідно з новою домовленістю, команда METR отримала видані Anthropic робочі ноутбуки, офісне приміщення та доступ до внутрішніх інструментів приблизно на тому самому рівні, яким користуються власні команди Anthropic з оцінювання ризиків. «Співробітникам Anthropic рекомендується ділитися з ними інформацією так само, як вони ділилися б нею з колегою, який працює над ризиками узгодження», — заявила компанія.

Anthropic порівняла цю домовленість із банківською сферою — подібно до того, як регулятори розміщують своїх постійних інспекторів у найбільших банках.

METR публікуватиме власні оцінки ризиків, інцидентів і практик Anthropic, а компанія відмовилася від права блокувати їх.

«Anthropic не може накласти вето на публікацію, але ми можемо вимагати від неї вилучити інформацію, якщо вона належить до вузьких, заздалегідь визначених категорій», — заявила компанія, навівши як приклади дані клієнтів, будь-яку інформацію, захищену адвокатською таємницею, або інформацію, що стосується архітектури її моделей. «METR може публічно охарактеризувати наші вилучення та повідомити, чи вважає вона їх обґрунтованими, за умови, що не розкриватиме вилучену інформацію», — додала Anthropic.

Наразі METR є єдиним оцінювачем на найвищому рівні трирівневої системи, яку створює Anthropic. Оцінювачі на найнижчому рівні, як-от неприбуткова організація з біобезпеки SecureBio, проводять вузькі перевірки й потребують схвалення Anthropic для публікації результатів. Середній рівень передбачає доступ до більшої кількості інформації та можливість публікувати результати без схвалення, тоді як найвищий рівень додає доступ METR на рівні співробітників.

Оголошення в четвер стало виконанням обіцянки генерального директора Anthropic Даріо Амодея, яку він дав у вересневому есе, де запропонував вбудовувати сторонніх оцінювачів у лабораторії ШІ як перший крок до уповільнення розвитку цієї технології. OpenAI швидко пообіцяла зробити те саме, і відтоді обидві компанії, а також Google, Meta, Nvidia та xAI підписали угоду Білого дому, яка передбачає незалежну перевірку.