NVIDIA випустила Nemotron 3.5 Super VL — відкриту мультимодальну агентну модель на 120 млрд параметрів

NVIDIA щойно випустила Nemotron 3.5 Super VL — відкриту модель для роботи із зором і мовою, створену для корпоративних агентів, що працюють постійно. Nemotron 3.5 Super VL — це модель NVIDIA на основі суміші експертів зі 120 млрд параметрів, яка активує 12 млрд параметрів для кожного токена. Вона читає текст, зображення, документи й відео, а потім в одній моделі міркує, викликає інструменти та пише код. Для розробників 1 відкрита контрольна точка замінює окрему текстову модель разом з окремою моделлю для роботи із зображеннями. NVIDIA також випустила 2 периферійні моделі: Nemotron 3.5 Bolt 74B-A9B і Bolt E4B.

Коротко

Розмір: загалом 120 млрд параметрів, 12 млрд активних (MoE). Контекст — до 1 млн токенів.
Працює на: 1x DGX Spark, 1x H200, 2x H100 або 1x GB200 із контрольної точкою NVFP4. Також опубліковано контрольну точку BF16.
Продуктивність: сильне міркування, агентне програмування та робота з документами. NVIDIA заявляє про до 5 разів вищу пропускну здатність на одному GPU, ніж у відкритих аналогів.
Найкращий результат: 89.90 на GPQA-Diamond (NVFP4).
Найгірший результат: 17.78 на tau3-bench banking (NVFP4).

Що таке Nemotron 3.5 Super VL?

Це відкрита мультимодальна агентна модель. Ваги поширюються за умовами ліцензії OpenMDW-1.1. NVIDIA також випустила відкриті набори даних, рецепти навчання та середовища RL у NeMo Gym.

У картці моделі зазначено підтримку текстових, графічних і відеовходів із текстовим результатом. Відео обмежене кліпами MP4 тривалістю до 2 хвилин. Міркування можна вмикати або вимикати через шаблон чату.

Як працює архітектура?

Базова модель поєднує шари Mamba-2, суміші експертів і механізмів уваги. Кожен шар MoE містить 512 експертів, між якими здійснюється маршрутизація. Візуальний енкодер C-RADIO і конектор передають зображення, сторінки документів і кадри відео до мовної базової моделі.

Швидкість забезпечують чотири методи:

Прогнозування кількох токенів: вбудований чернетковий модуль пропонує кілька токенів, які перевіряються за 1 прямий прохід.
LiLiCorr: спекулятивний чернетковий модуль для DGX Spark, який забезпечує до 2,3 раза швидшу генерацію токенів.
NVFP4 із дистиляцією з урахуванням квантування: 4-бітні ваги й активації на Blackwell, 4-бітні ваги та 16-бітні активації на інших системах.
Повторне використання контексту: кешування префіксів зберігає кеші уваги та стани Mamba між ходами агента.

Модель було дистильовано з Nemotron 3 Ultra. Команда NVIDIA зазначає, що навчання проводилося приблизно на 26 трлн токенів. Післянавчання використало близько 3,8 млн зразків і RL у десятках середовищ. Подальше попереднє навчання додало 10 млрд індійських токенів.

Як вона показує себе в бенчмарках?

Усі наведені нижче результати повідомлені NVIDIA та отримані з контрольної точки NVFP4, зазначеної в картці моделі.

Сфера	Бенчмарк	Результат
Міркування	GPQA-Diamond	89.90
Програмування	SWE-bench Verified	71.07
Програмування	Terminal-Bench 2.1	60.80
Вебагент	BrowseComp	77.5
Дотримання інструкцій	IFBench	71.50
Діаграми	Міркування CharXiv	79.88
Документи	MMLongBench-Doc	62.82
Робота з комп’ютером	OSWorld-Verified	52.3
Довготривалий агент	tau3-bench banking	17.78

У тестах агентних оболонок Super VL перевершує Nemotron 3 Ultra. На Hermes Bench вона набирає 63,44% проти 56,33%. У тестах LangChain результат становить 87,05% проти 84,3%. Загальна кількість параметрів Ultra приблизно у 4,6 раза більша.

Команда NVIDIA повідомляє про понад 600 вихідних токенів за секунду в агентних завданнях Artificial Analysis через кінцеву точку Baseten. На її діаграмі позначено п’ятикратний розрив у швидкості порівняно з Inkling Small.

</div> <div class="stage" data-i="1">C-RADIO<small>візуальний енкодер</small></div><div class="arr"></div> <div class="stage" data-i="2">Гібридна MoE<small>Mamba-2 + увага</small></div><div class="arr"></div> <div class="stage" data-i="3">Декодування MTP<small>+ LiLiCorr</small></div><div class="arr"></div> <div class="stage" data-i="4">Результат<small>текст, виклики інструментів</small></div> </div> <div class="detail" id="mtp-detail"></div> <div class="ctrl"> <button class="btn" id="mtp-prev">

Назад</button> <button class="btn pri" id="mtp-next">Далі </button> <button class="btn" id="mtp-play"> Автовідтворення</button> <span class="step" id="mtp-step">Крок 1 із 5</span> </div> </div> <div class="panel" id="p-bm"> <div class="seg"><button class="on" data-c="nv">NVFP4</button><button data-c="bf">BF16</button></div> <div id="mtp-bars"></div> <p class="note">Результати, повідомлені NVIDIA, з картки моделі. Помаранчева смуга позначає найслабший результат.</p> </div> <div class="panel" id="p-cp"> <div class="cmp" id="mtp-cmp"></div> <p class="legend">Результати, самостійно повідомлені постачальниками. Super VL використовує NVFP4. Оболонки відрізняються: SWE-bench для Inkling-Small використовує оболонку лише з bash.</p> </div> <div class="panel" id="p-dp"> <div class="hw" id="mtp-hw"> <button class="chip on" data-h="0">1x DGX Spark<small>vLLM · LiLiCorr</small></button> <button class="chip" data-h="1">1x H200<small>vLLM · MTP 3</small></button> <button class="chip" data-h="2">2x H100<small>vLLM · MTP 3</small></button> <button class="chip" data-h="3">1x GB200<small>vLLM · MTP 5</small></button> </div> <div class="detail" id="mtp-hwd"></div> <pre id="mtp-code"></pre> <p class="note">Команди скорочено на основі картки моделі на Hugging Face. Для використання у виробничому середовищі застосовуйте повний набір прапорців, наведений там.</p> </div> <div class="ft"><span>Джерела: блог NVIDIA, технічний блог NVIDIA, картки моделей на Hugging Face</span><span class="br">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-nsvl'); function $(s){return R.querySelector(s)} function $$(s){return Array.prototype.slice.call(R.querySelectorAll(s))} function resize(){try{parent.postMessage({mtpEmbed:'nsvl',h:R.offsetHeight+40},'*')}catch(e){}} /* вкладки */ $$('.tab').forEach(function(t){t.addEventListener('click',function(){ $$('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on'); $$('.panel').forEach(function(p){p.classList.remove('on')}); var k=t.getAttribute('data-t');$('#p-'+k).classList.add('on'); if(k==='bm')drawBars(cur);if(k==='cp')drawCmp();if(k==='ov')count(); setTimeout(resize,60); })}); /* лічильники */ function count(){$$('.stat b').forEach(function(b){var n=+b.getAttribute('data-n'),s=b.getAttribute('data-s')||'',t0=null; function f(ts){if(!t0)t0=ts;var p=Math.min((ts-t0)/900,1),e=1-Math.pow(1-p,3);b.textContent=Math.round(n*e)+s;if(p<1)requestAnimationFrame(f)}requestAnimationFrame(f)})} count(); /* комірки MoE */ var cells=$('#mtp-cells'),N=120;for(var i=0;i<N;i++){var c=document.createElement('div');c.className='cell';cells.appendChild(c)} var cs=$$('.cell'),tk=1; function route(){cs.forEach(function(c){c.classList.remove('act')});var used={};for(var k=0;k<12;k++){var j;do{j=Math.floor(Math.random()*N)}while(used[j]);used[j]=1;cs[j].classList.add('act')}$('#mtp-tok').textContent='токен #'+(tk++)+' · активні 12 із 120 комірок'} route();setInterval(route,1100); /* конвеєр */ var D=[ '<b>Входи.</b> Текст, RGB-зображення (jpeg, png) і відео MP4 тривалістю до 2 хвилин. Документи можна передавати як зображення сторінок із текстом. Усе використовує спільне контекстне вікно обсягом до 1 млн токенів.', '<b>Візуальний енкодер C-RADIO + конектор.</b> Перетворює зображення, сторінки документів і кадри відео на представлення, які може обробляти мовна базова модель. Після квантування ці компоненти залишаються у форматі BF16.', '<b>Гібридна базова модель MoE.</b> Чергування шарів Mamba-2, MoE та уваги. 512 маршрутизованих експертів у кожному шарі MoE, 12 млрд із 120 млрд параметрів активні для кожного токена. Дистильована з Nemotron 3 Ultra.', '<b>Швидке декодування.</b> Вбудоване прогнозування кількох токенів створює чернетку з кількох токенів для перевірки за 1 прохід. На DGX Spark чернетковий модуль LiLiCorr забезпечує до 2,3 раза швидшу генерацію токенів.', '<b>Результат.</b> Текстові відповіді, міркування (перемикаються через enable_thinking) і виклики інструментів. NVIDIA повідомляє про понад 600 вихідних токенів за секунду в агентних завданнях Artificial Analysis через Baseten.']; var si=0,timer=null,st=$$('.stage'); function show(i){si=(i+5)%5;st.forEach(function(s,k){s.classList.toggle('on',k===si)});$('#mtp-detail').innerHTML=D[si];$('#mtp-step').textContent='Крок '+(si+1)+' із 5';setTimeout(resize,30)} st.forEach(function(s){s.addEventListener('click',function(){show(+s.getAttribute('data-i'))})}); $('#mtp-next').addEventListener('click',function(){show(si+1)}); $('#mtp-prev').addEventListener('click',function(){show(si-1)}); $('#mtp-play').addEventListener('click',function(){var b=this;if(timer){clearInterval(timer);timer=null;b.textContent=' Автовідтворення'}else{timer=setInterval(function(){show(si+1)},2200);b.textContent='❚❚ Пауза'}}); show(0); /* бенчмарки */ var B=[['GPQA-Diamond',89.90,89.52],['Міркування CharXiv',79.88,80.82],['BrowseComp',77.5,78],['SWE-bench Verified',71.07,71.10],['IFBench',71.50,70.86],['MMLongBench-Doc',62.82,62.82],['Terminal-Bench 2.1',60.80,66.70],['OSWorld-Verified',52.3,51.14],['tau3-bench banking',17.78,18.88]]; var cur='nv'; function drawBars(c){cur=c;var h='';B.forEach(function(r,i){var v=c==='nv'?r[1]:r[2];h+='<div class="bar"><span class="nm">'+r[0]+'</span><div class="track"><div class="fill'+(i===B.length-1?' low':'')+'" data-w="'+v+'"></div></div><span class="val">'+v.toFixed(2)+'</span></div>'}); $('#mtp-bars').innerHTML=h;requestAnimationFrame(function(){requestAnimationFrame(function(){$$('#mtp-bars .fill').forEach(function(f){f.style.width=f.getAttribute('data-w')+'%'})})});setTimeout(resize,60)} $$('.seg button').forEach(function(b){b.addEventListener('click',function(){$$('.seg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');drawBars(b.getAttribute('data-c'))})}); /* порівняння */ var C=[['GPQA Diamond','89.90','86.6','89.5'],['SWE-bench Verified','71.07','72.0','80.2'],['IFBench','71.50','76.1','82.2'],['Міркування CharXiv','79.88','77.2','77.4'],['BrowseComp','77.5','63.8','77.4']]; function drawCmp(){var h='';C.forEach(function(r){h+='<div class="row"><div class="rt">'+r[0]+'</div>'+ '<div class="b me"><span class="nm">Super VL</span><div class="track"><div class="fill" data-w="'+r[1]+'"></div></div><span class="val">'+r[1]+'</span></div>'+ '<div class="b"><span class="nm">Qwen3.5-122B-A10B</span><div class="track"><div class="fill q" data-w="'+r[2]+'"></div></div><span class="val">'+r[2]+'</span></div>'+ '<div class="b"><span class="nm">Inkling-Small</span><div class="track"><div class="fill i" data-w="'+r[3]+'"></div></div><span class="val">'+r[3]+'</span></div></div>'}); $('#mtp-cmp').innerHTML=h;requestAnimationFrame(function(){requestAnimationFrame(function(){$$('#mtp-cmp .fill').forEach(function(f){f.style.width=f.getAttribute('data-w')+'%'})})});setTimeout(resize,60)} /* розгортання */ var H=[ ['<b>1x DGX Spark (GB10).</b> Текст і зображення, контекст обсягом 1 млн токенів у vLLM. NVIDIA рекомендує чернетковий модуль LiLiCorr для всіх розгортань на Spark.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --max-num-seqs 1 --trust-remote-code \\\n --speculative_config.model nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr \\\n --speculative_config.num_speculative_tokens 7 \\\n --speculative_config.method dflash \\\n --reasoning-parser nemotron_v3'], ['<b>1x H200.</b> Текст, зображення та відео, контекст обсягом 1 млн токенів, MTP із 3 чернетковими токенами. Та сама команда, що й для 2x H100, із tensor parallel 1.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --tensor-parallel-size 1 --trust-remote-code \\\n --speculative-config.method mtp \\\n --speculative-config.num_speculative_tokens 3 \\\n --reasoning-parser nemotron_v3'], ['<b>2x H100.</b> Текст, зображення та відео, контекст обсягом 1 млн токенів, MTP із 3 чернетковими токенами. Використовує W4A16 на GPU не на базі Blackwell.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --tensor-parallel-size 2 --trust-remote-code \\\n --speculative-config.method mtp \\\n --speculative-config.num_speculative_tokens 3 \\\n --reasoning-parser nemotron_v3'], ['<b>1x GB200.</b> Текст, зображення та відео, контекст обсягом 1 млн токенів, MTP із 5 чернетковими токенами. Повний W4A4 NVFP4 на Blackwell. Також доступні рецепти для SGLang і TensorRT-LLM.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --max-num-seqs 512 --trust-remote-code \\\n --speculative_config.method mtp \\\n --speculative_config.num_speculative_tokens 5 \\\n --reasoning-parser nemotron_v3']]; function hw(i){$$('.chip').forEach(function(c,k){c.classList.toggle('on',k===i)});$('#mtp-hwd').innerHTML=H[i][0];$('#mtp-code').textContent=H[i][1];setTimeout(resize,30)} $$('.chip').forEach(function(c){c.addEventListener('click',function(){hw(+c.getAttribute('data-h'))})});hw(0); window.addEventListener('load',resize);window.addEventListener('resize',resize);setTimeout(resize,300); })(); </script> </body> </html> ">

Як вона порівнюється з аналогічними відкритими моделями?

Характеристика	Nemotron 3.5 Super VL	Qwen3.5-122B-A10B	Inkling-Small	Nemotron 3 Ultra
Розробник	NVIDIA	Alibaba Qwen	Thinking Machines Lab	NVIDIA
Загальна / активна кількість параметрів	120B / 12B	122B / 10B	276B / 12B	550B / 55B
Контекст	До 1 млн	262 144 нативно, можна розширити до 1 010 000	Не розкрито в картці моделі	Оцінено на 1 млн (Ruler @1M)
Входи	Текст, зображення, відео	Текст, зображення, відео	Текст, зображення, аудіо	Не розкрито
Ліцензія	OpenMDW-1.1	Apache 2.0	Apache 2.0	OpenMDW-1.1
Рекомендоване обладнання	1x DGX Spark, 1x H200, 2x H100 або 1x GB200	Приклад обслуговування з паралелізмом на 8 GPU	Не розкрито	Не розкрито
GPQA Diamond	89.90	86.6	89.5	Не розкрито
SWE-bench Verified	71.07	72.0	80.2 (оболонка лише з bash)	65–70.4 (у 5 оболонках)
IFBench	71.50	76.1	82.2	82
Міркування CharXiv	79.88	77.2	77.4	Не розкрито
BrowseComp	77.5	63.8	77.4 (із керуванням контекстом)	Не розкрито
Terminal-Bench	60.80 (v2.1)	49.4 (v2)	64.7 (v2.1, найкраща оболонка)	54 (v2.0)

Результати самостійно повідомлені кожним постачальником. Оболонки та версії бенчмарків відрізняються, тому до розривів у кілька пунктів слід ставитися обережно.

Як розробники можуть розгорнути модель?

Super VL доступна на Hugging Face, OpenRouter, ModelScope і як NVIDIA NIM. Підтримувані середовища виконання — vLLM, SGLang і TensorRT-LLM на Blackwell та Hopper. Локальні варіанти включають llama.cpp і Unsloth.

Для виробничого використання рецепти Dynamo додають маршрутизацію з урахуванням KV. На 16 GPU B200 зі швидкістю 50 токенів за секунду на користувача NVIDIA повідомляє про обслуговування у 8 разів більшої кількості користувачів. Затримка до першого токена скорочується на 85%.

Налаштування виконується через NeMo AutoModel для SFT і LoRA, а також NeMo RL для навчання з підкріпленням. NVIDIA наводить такі попередні результати:

Scale AI для обробки кредитів постачальників Skydance: у 40 разів нижча вартість інференсу та в 5 разів менша затримка.
Ramp для перетворення чеків у JSON: очікується до 50% вища пропускна здатність і в 10 разів менша затримка.
AI21 для розвідки кіберзагроз Alice: на 40% вища точність.

Що таке моделі Nemotron 3.5 Bolt?

Nemotron 3.5 Bolt 74B-A9B орієнтована на локальних агентів. В описі запуску NVIDIA зазначає, що її було дистильовано із Super VL. Нативне 2-бітне квантування дає змогу розмістити її у 24 ГБ пам’яті систем RTX і DGX Spark. NVIDIA стверджує, що серед відкритих моделей свого класу вона посідає перше місце в PinchBench. Серед відкритих моделей вона посідає друге місце в BrowseComp. Наразі вона доступна на Hugging Face із підтримкою llama.cpp, Ollama, LM Studio, Unsloth і vLLM.

Bolt E4B обсягом 4 ГБ вийде 23 жовтня. Вона призначена для голосових помічників і вбудованих агентів на GeForce RTX, Jetson та RTX або DGX Spark.

Основні висновки

MoE на 120 млрд параметрів, 12 млрд активних, контекст 1 млн, відкриті ваги за ліцензією OpenMDW-1.1.
1 модель працює з текстом, зображеннями, документами, відео, інструментами та кодом.
Контрольна точка NVFP4 працює на одному DGX Spark, H200 або GB200.
89.90 на GPQA-Diamond, але лише 17.78 на tau3-bench banking.
Bolt 74B-A9B приносить локальну агентну модель обсягом 24 ГБ на ПК із RTX.

Ознайомтеся з технічним звітом, карткою моделі і посібником із використання. Усі заслуги належать досліднику цього проєкту. Також не соромтеся стежити за нами у Twitter і не забудьте приєднатися до нашого сабреддіту про машинне навчання зі 150 тисячами+ учасників та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? тепер ви також можете приєднатися до нас у Telegram.

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.