Съобщава се, че OpenAI ще пусне поне един модел тази година, но флагманският ѝ модел все още се нуждае от работа по съгласуването

OpenAI бърза да завърши следващия си флагмански модел, който използва същата циклична трансформърна техника като Astra. Подходът подобрява представянето при математика и програмиране, но затруднява наблюдението на безопасността. Служители казват, че до края на годината вероятно ще бъдат пуснати един или два нови модела.

Според служители OpenAI вероятно ще пусне „един или два нови модела“ преди края на годината, макар че не е ясно дали „основният подобрен модел“, върху който компанията работи в момента, ще бъде сред тях. Това съобщава The Information, позовавайки се на хора, запознати с проектите.

Новият флагман все още може да е далеч от пускане. Моделът се нуждае от работа по подравняването, така че целите му да съответстват на очакванията на изследователите и клиентите на OpenAI. Компанията също трябва да укрепи тестовата инфраструктура около модела, преди да може да продължи.

След като ръководството остане удовлетворено от оценките за безопасност, предстои още едно препятствие. Съгласно указ на президента Тръмп, регулиращ оценяването на усъвършенствани AI системи, OpenAI се съгласи да предоставя на правителството на САЩ достъп до новите модели до 30 дни преди те да бъдат предоставени на външни партньори и още по-рано преди публичното им пускане.

Цикличните трансформъри захранват както Astra, така и следващия флагман

Новият флагман също използва циклични трансформъри, според човек, запознат със ситуацията. OpenAI вече използва тази техника в реална среда, където тя е известна като „Recurrent Depth“. Тя е в основата на работата на Astra, настоящия водещ модел на компанията. Вместо да прекарва токена през слоевете на трансформъра веднъж, моделът го прекарва през същите слоеве многократно, преди да изведе следващата дума. Това повишава представянето при математика и програмиране и намалява разходите, тъй като по-малък модел може да надхвърли очакваните си възможности.

Но цикличността също така премества част от „мисленето“ на модела от четимия текст към вътрешни числови представяния, които човешките проверяващи не могат да инспектират. Това подкопава наблюдението на веригата на мисълта, при което изследователите по безопасността проследяват разсъжденията на модела, за да откриват неправилно поведение. OpenAI умишлено е ограничила броя на циклите, през които преминава Astra, за да запази веригата ѝ на мисълта четима, съобщава The Information.

След инцидента с Hugging Face OpenAI е насочила приблизително десет процента от общата си изчислителна мощ към подравняване и безопасност, според човек, запознат с данните. The Information съобщава, че това се равнява на капацитет на центрове за данни от стотици мегавати, макар че не е ясно каква част е била отделяна за безопасност преди или как изглежда текущото разпределение. По пазарни цени наемането на изчислителната мощ, пренасочена от OpenAI, би струвало милиарди долари годишно. Изследователят на AI Ноам Браун заяви в подкаст в средата на септември, че около десет процента от екипа му също работят по сигурността и безопасността.

Microsoft случайно разкрива как работи цикличното извеждане на OpenAI

Как OpenAI всъщност използва тази техника стана ясно заради пропуск в Microsoft. Големият инвеститор, който има достъп до интелектуалната собственост на OpenAI, публикува технически материал за GPT-6.1 Sol, по-евтина алтернатива на Astra, която OpenAI пусна по-рано този месец.

Впоследствие изтрит раздел Microsoft описва GPT-6.1 Sol като модел, използващ „циклично извеждане“, при което моделът обработва един и същ проблем на няколко „прохода“, преди да даде отговор. GPT-6.1 Sol „използва същите тегла на базовия модел като GPT-6 Sol, но с два прохода на извеждане вместо три“, цитира The Information кеширано копие на страницата.

Човек с преки познания потвърди, че материалът съответства на казаното от OpenAI пред Microsoft насаме. Microsoft премахна раздела, след като осъзна, че той не е предназначен за публично оповестяване. Цикличните трансформъри остават чувствителна част от разработването на моделите на OpenAI както по време на обучението, така и при извеждането, съобщава The Information.

Главният научен директор на OpenAI Якуб Пачоцки вече призна, че наблюдението на веригата на мисълта става „крехко“ и „за съжаление върви в негативна посока“. Той също предупреди срещу надпревара в цялата индустрия към модели без четими разсъждения.

AI новини без сензацията – подбрани от хора

Абонирайте се за THE DECODER за четене без реклами, седмичен AI бюлетин, нашия ексклузивен шест пъти годишно доклад за водещите разработки „AI Radar“, пълен достъп до архива и достъп до секцията за коментари.