Как сообщается, OpenAI выпустит как минимум одну модель в этом году, но её флагманской модели всё ещё нужна работа над согласованием

OpenAI спешит завершить работу над своей следующей флагманской моделью, в которой используется та же зацикленная трансформерная техника, что и в Astra. Этот подход повышает эффективность в математике и программировании, но усложняет мониторинг безопасности. По словам сотрудников, до конца года, вероятно, выйдет одна или две новые модели.

По словам сотрудников, OpenAI, вероятно, выпустит «одну или две новые модели» до конца года, хотя неясно, войдёт ли в их число «значительно усовершенствованная модель», над которой компания сейчас работает. Об этом сообщает The Information со ссылкой на людей, знакомых с проектами.

До выхода новой флагманской модели может быть ещё далеко. Модели необходима работа над согласованностью, чтобы её цели соответствовали ожиданиям исследователей и клиентов OpenAI. Компании также необходимо укрепить инфраструктуру тестирования модели, прежде чем двигаться дальше.

После того как руководство будет удовлетворено результатами оценки безопасности, останется ещё одно препятствие. Согласно указу президента Трампа, регулирующему оценку передовых ИИ-систем, OpenAI согласилась предоставлять правительству США доступ к новым моделям за 30 дней до их передачи внешним партнёрам и ещё раньше публичного запуска.

Зацикленные трансформеры лежат в основе Astra и следующей флагманской модели

По словам человека, знакомого с ситуацией, в новой флагманской модели также используются зацикленные трансформеры. OpenAI уже применяет эту технику в рабочей среде, где она называется «Recurrent Depth». Она лежит в основе работы Astra, нынешней топовой модели компании. Вместо того чтобы один раз пропускать токен через слои трансформера, модель многократно пропускает его через те же слои, прежде чем выдать следующее слово. Это повышает производительность в математике и программировании и снижает затраты, поскольку меньшая модель может превосходить свои формальные возможности.

Однако зацикливание также переносит часть «размышлений» модели из читаемого текста во внутренние числовые представления, которые не могут проверить люди-рецензенты. Это подрывает мониторинг цепочки рассуждений, при котором исследователи в области безопасности отслеживают рассуждения модели, чтобы выявить нежелательное поведение. Как сообщает The Information, OpenAI намеренно ограничила количество циклов Astra, чтобы сохранить читаемость её цепочки рассуждений.

После инцидента с Hugging Face OpenAI направила примерно десять процентов своих общих вычислительных ресурсов на согласованность и безопасность, сообщил человек, знакомый с цифрами. The Information пишет, что речь идёт о вычислительных мощностях дата-центров объёмом в сотни мегаватт, хотя неясно, какая доля ресурсов выделялась на безопасность ранее и как выглядит текущее распределение. По рыночным расценкам аренда вычислительных ресурсов, перенаправленных OpenAI, стоила бы миллиарды долларов в год. Исследователь ИИ Ноам Браун заявил в подкасте в середине сентября, что около десяти процентов его команды также работают над защищённостью и безопасностью.

Microsoft случайно раскрыла принцип работы зацикленного вывода OpenAI

То, как именно OpenAI использует эту технику, стало известно из-за оплошности Microsoft. Крупный инвестор, имеющий доступ к интеллектуальной собственности OpenAI, опубликовал техническое описание GPT-6.1 Sol — более дешёвой альтернативы Astra, которую OpenAI запустила ранее в этом месяце.

В разделе, который впоследствии был удалён, Microsoft описала GPT-6.1 Sol как модель с «зацикленным выводом», где модель решает одну и ту же задачу за несколько «проходов», прежде чем выдать ответ. Согласно цитате The Information из кэшированной копии страницы, GPT-6.1 Sol «использует те же базовые веса модели, что и GPT-6 Sol, но выполняет два прохода вывода вместо трёх».

Человек, непосредственно знакомый с ситуацией, подтвердил, что описание соответствовало информации, которую OpenAI конфиденциально предоставила Microsoft. Microsoft удалила этот раздел, поняв, что он не предназначался для публикации. Как сообщает The Information, зацикленные трансформеры остаются чувствительной частью разработки моделей OpenAI — как на этапе обучения, так и на этапе вывода.

Главный научный сотрудник OpenAI Якуб Пахоцки уже признал, что мониторинг цепочки рассуждений становится «хрупким» и «к сожалению, развивается в негативном направлении». Он также предостерёг от общег отраслевой гонки к моделям без читаемых рассуждений.

Новости об ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать статьи без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный обзор передовых разработок «AI Radar» шесть раз в год, доступ ко всему архиву и разделу комментариев.