Як повідомляється, OpenAI випустить щонайменше одну модель цього року, але її флагманська модель усе ще потребує роботи над узгодженням

OpenAI поспішає завершити роботу над своєю наступною флагманською моделлю, яка використовує ту саму техніку циклічних трансформерів, що й Astra. Такий підхід підвищує продуктивність у математиці та програмуванні, але ускладнює моніторинг безпеки. Співробітники кажуть, що до кінця року, найімовірніше, будуть випущені одна або дві нові моделі.

За словами співробітників, до кінця року OpenAI, імовірно, випустить «одну або дві нові моделі», хоча незрозуміло, чи буде серед них «основна оновлена модель», над якою компанія зараз працює. Про це повідомляє The Information, посилаючись на людей, знайомих із цими проєктами.

До появи нової флагманської моделі може бути ще далеко. Модель потребує роботи над узгодженням, щоб її цілі відповідали очікуванням дослідників і клієнтів OpenAI. Компанії також потрібно зміцнити інфраструктуру тестування навколо моделі, перш ніж рухатися далі.

Після того як керівництво залишиться задоволеним оцінюваннями безпеки, виникне ще одна перешкода. Відповідно до указу президента Трампа, який регулює оцінювання передових систем ШІ, OpenAI погодилася надавати уряду США доступ до нових моделей за 30 днів до того, як вони потраплять до зовнішніх партнерів, і ще раніше — до публічного запуску.

Циклічні трансформери забезпечують роботу Astra та наступної флагманської моделі

За словами людини, знайомої із ситуацією, нова флагманська модель також використовує циклічні трансформери. OpenAI уже застосовує цю техніку у виробництві, де вона має назву «Recurrent Depth». Вона є центральною для роботи Astra, нинішньої топової моделі компанії. Замість того щоб пропускати токен через шари трансформера один раз, модель кілька разів проганяє його через ті самі шари, перш ніж вивести наступне слово. Це підвищує продуктивність у математиці та програмуванні й знижує витрати, оскільки менша модель може перевершувати очікування.

Однак циклічність також переносить частину «мислення» моделі з читабельного тексту у внутрішні числові представлення, які люди-рецензенти не можуть перевірити. Це підриває моніторинг ланцюжка міркувань, під час якого дослідники з безпеки відстежують міркування моделі, щоб виявити небезпечну поведінку. Як повідомляє The Information, OpenAI навмисно обмежила кількість циклів Astra, щоб зберегти читабельність її ланцюжка міркувань.

Після інциденту з Hugging Face OpenAI спрямувала приблизно десять відсотків своїх загальних обчислювальних ресурсів на узгодження та безпеку, за словами людини, знайомої з цими показниками. The Information повідомляє, що це відповідає потужності дата-центрів у сотні мегаватів, хоча незрозуміло, скільки ресурсів виділялося на безпеку раніше і який вигляд має нинішній розподіл. За ринковими тарифами оренда обчислювальних ресурсів, які OpenAI перенаправила, коштувала б мільярди доларів на рік. Дослідник ШІ Ноам Браун сказав у подкасті в середині вересня, що близько десяти відсотків його команди також працюють над безпекою.

Microsoft випадково розкрила принцип роботи циклічних висновків OpenAI

Як саме OpenAI використовує цю техніку, стало відомо через помилку Microsoft. Великий інвестор, який має доступ до інтелектуальної власності OpenAI, опублікував технічний матеріал про GPT-6.1 Sol — дешевшу альтернативу Astra, яку OpenAI запустила на початку цього місяця.

У розділі, який тепер видалено, Microsoft описала GPT-6.1 Sol як модель, що використовує «циклічні висновки», під час яких модель опрацьовує ту саму проблему за кілька «проходів», перш ніж сформувати відповідь. GPT-6.1 Sol «використовує ті самі базові ваги моделі, що й GPT-6 Sol, але з двома проходами висновків замість трьох», — цитує The Information кешовану копію сторінки.

Людина, безпосередньо обізнана із ситуацією, підтвердила, що матеріал відповідав інформації, яку OpenAI приватно надала Microsoft. Microsoft видалила цей розділ, зрозумівши, що він не призначався для публікації. Циклічні трансформери залишаються чутливою частиною розробки моделей OpenAI — як під час навчання, так і на етапі висновків, повідомляє The Information.

Головний науковець OpenAI Якуб Пахоцький уже визнав, що моніторинг ланцюжка міркувань стає «крихким» і «прикро рухається в негативному напрямку». Він також застеріг від загальногалузевої гонитви до моделей без читабельного міркування.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати матеріали без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові технології «AI Radar» шість разів на рік, мати повний доступ до архіву та розділу коментарів.