NVIDIA выпустила Nemotron 3.5 Super VL — открытую мультимодальную агентную модель на 120 млрд параметров

NVIDIA только что выпустила Nemotron 3.5 Super VL — открытую модель «зрение—язык», созданную для постоянно работающих корпоративных агентов. Nemotron 3.5 Super VL — это модель NVIDIA на 120 млрд параметров с архитектурой смеси экспертов, которая активирует 12 млрд параметров на каждый токен. Она обрабатывает текст, изображения, документы и видео, а затем в рамках одной модели выполняет рассуждения, вызывает инструменты и пишет код. Для разработчиков одна открытая контрольная точка заменяет отдельную текстовую модель и отдельную модель компьютерного зрения. NVIDIA также выпустила 2 периферийные модели: Nemotron 3.5 Bolt 74B-A9B и Bolt E4B.

Кратко

Размер: 120 млрд параметров всего, 12 млрд активных (MoE). Контекст до 1 млн токенов.
Работает на: 1x DGX Spark, 1x H200, 2x H100 или 1x GB200 с контрольной точкой NVFP4. Также опубликована контрольная точка BF16.
Производительность: сильные способности к рассуждениям, агентному программированию и работе с документами. NVIDIA заявляет до 5-кратно более высокую пропускную способность на одном GPU по сравнению с открытыми аналогами.
Лучший результат: 89.90 на GPQA-Diamond (NVFP4).
Худший результат: 17.78 на tau3-bench banking (NVFP4).

Что такое Nemotron 3.5 Super VL?

Это открытая мультимодальная агентная модель. Веса распространяются по лицензии OpenMDW-1.1. NVIDIA также выпустила открытые наборы данных, рецепты обучения и среды RL в NeMo Gym.

В карточке модели указаны текстовые, графические и видео-входы с текстовым выводом. Видео ограничено клипами MP4 длительностью до 2 минут. Режим рассуждений можно включать и выключать через шаблон чата.

Как работает архитектура?

Базовая архитектура чередует слои Mamba-2, смеси экспертов и внимания. Каждый слой MoE содержит 512 маршрутизируемых экспертов. Энкодер компьютерного зрения C-RADIO и коннектор передают изображения, страницы документов и кадры видео в языковую архитектуру.

Высокая скорость обеспечивается четырьмя методами:

Предсказание нескольких токенов: встроенный черновой модуль предлагает несколько токенов, которые проверяются за 1 проход.
LiLiCorr: спекулятивный черновой модуль для DGX Spark, обеспечивающий до 2,3-кратного ускорения генерации токенов.
NVFP4 с дистилляцией с учётом квантования: 4-битные веса и активации на Blackwell, 4-битные веса и 16-битные активации на других системах.
Повторное использование контекста: кэширование префикса сохраняет кэши внимания и состояния Mamba между ходами агента.

Модель была дистиллирована из Nemotron 3 Ultra. Команда NVIDIA сообщает, что обучение проводилось примерно на 26 трлн токенов. Постобучение использовало около 3,8 млн примеров и RL в десятках сред. В ходе продолжительного предварительного обучения было добавлено 10 млрд индийских токенов.

Каковы результаты на бенчмарках?

Все приведённые ниже результаты указаны NVIDIA и взяты из карточки модели для контрольной точки NVFP4.

Область	Бенчмарк	Результат
Рассуждения	GPQA-Diamond	89.90
Программирование	SWE-bench Verified	71.07
Программирование	Terminal-Bench 2.1	60.80
Веб-агент	BrowseComp	77.5
Следование инструкциям	IFBench	71.50
Диаграммы	CharXiv reasoning	79.88
Документы	MMLongBench-Doc	62.82
Работа с компьютером	OSWorld-Verified	52.3
Агент с длинным горизонтом	tau3-bench banking	17.78

В оценках с использованием агентских оболочек Super VL превосходит Nemotron 3 Ultra. В Hermes Bench она набирает 63,44% против 56,33%. В оценках LangChain результат составляет 87,05% против 84,3%. У Ultra примерно в 4,6 раза больше общих параметров.

Команда NVIDIA сообщает о скорости более 600 выходных токенов в секунду на агентских задачах Artificial Analysis через конечную точку Baseten. На графике отмечен пятикратный разрыв в скорости по сравнению с Inkling Small.

</div> <div class="stage" data-i="1">C-RADIO<small>энкодер зрения</small></div><div class="arr"></div> <div class="stage" data-i="2">Гибридный MoE<small>Mamba-2 + внимание</small></div><div class="arr"></div> <div class="stage" data-i="3">Декодирование MTP<small>+ LiLiCorr</small></div><div class="arr"></div> <div class="stage" data-i="4">Вывод<small>текст, вызовы инструментов</small></div> </div> <div class="detail" id="mtp-detail"></div> <div class="ctrl"> <button class="btn" id="mtp-prev">

Назад</button> <button class="btn pri" id="mtp-next">Далее </button> <button class="btn" id="mtp-play"> Автовоспроизведение</button> <span class="step" id="mtp-step">Шаг 1 из 5</span> </div> </div> <div class="panel" id="p-bm"> <div class="seg"><button class="on" data-c="nv">NVFP4</button><button data-c="bf">BF16</button></div> <div id="mtp-bars"></div> <p class="note">Результаты, указанные NVIDIA в карточке модели. Оранжевая полоса отмечает самый слабый результат.</p> </div> <div class="panel" id="p-cp"> <div class="cmp" id="mtp-cmp"></div> <p class="legend">Результаты, указанные самими разработчиками. Super VL использует NVFP4. Оболочки различаются: SWE-bench для Inkling-Small использует оболочку только с bash.</p> </div> <div class="panel" id="p-dp"> <div class="hw" id="mtp-hw"> <button class="chip on" data-h="0">1x DGX Spark<small>vLLM · LiLiCorr</small></button> <button class="chip" data-h="1">1x H200<small>vLLM · MTP 3</small></button> <button class="chip" data-h="2">2x H100<small>vLLM · MTP 3</small></button> <button class="chip" data-h="3">1x GB200<small>vLLM · MTP 5</small></button> </div> <div class="detail" id="mtp-hwd"></div> <pre id="mtp-code"></pre> <p class="note">Команды сокращены по сравнению с карточкой модели на Hugging Face. Для использования в производстве применяйте полный набор флагов, указанный там.</p> </div> <div class="ft"><span>Источники: блог NVIDIA, технический блог NVIDIA, карточки моделей на Hugging Face</span><span class="br">© Marktechpost</span></div> </div> <script> (function(){ var R=document.getElementById('mtp-nsvl'); function $(s){return R.querySelector(s)} function $$(s){return Array.prototype.slice.call(R.querySelectorAll(s))} function resize(){try{parent.postMessage({mtpEmbed:'nsvl',h:R.offsetHeight+40},'*')}catch(e){}} /* вкладки */ $$('.tab').forEach(function(t){t.addEventListener('click',function(){ $$('.tab').forEach(function(x){x.classList.remove('on')});t.classList.add('on'); $$('.panel').forEach(function(p){p.classList.remove('on')}); var k=t.getAttribute('data-t');$('#p-'+k).classList.add('on'); if(k==='bm')drawBars(cur);if(k==='cp')drawCmp();if(k==='ov')count(); setTimeout(resize,60); })}); /* счётчики */ function count(){$$('.stat b').forEach(function(b){var n=+b.getAttribute('data-n'),s=b.getAttribute('data-s')||'',t0=null; function f(ts){if(!t0)t0=ts;var p=Math.min((ts-t0)/900,1),e=1-Math.pow(1-p,3);b.textContent=Math.round(n*e)+s;if(p<1)requestAnimationFrame(f)}requestAnimationFrame(f)})} count(); /* ячейки MoE */ var cells=$('#mtp-cells'),N=120;for(var i=0;i<N;i++){var c=document.createElement('div');c.className='cell';cells.appendChild(c)} var cs=$$('.cell'),tk=1; function route(){cs.forEach(function(c){c.classList.remove('act')});var used={};for(var k=0;k<12;k++){var j;do{j=Math.floor(Math.random()*N)}while(used[j]);used[j]=1;cs[j].classList.add('act')}$('#mtp-tok').textContent='токен #'+(tk++)+' · активны 12 из 120 ячеек'} route();setInterval(route,1100); /* конвейер */ var D=[ '<b>Входные данные.</b> Текст, RGB-изображения (jpeg, png) и видео MP4 длительностью до 2 минут. Документы можно передавать в виде изображений страниц с текстом. Всё использует общее контекстное окно объёмом до 1 млн токенов.', '<b>Энкодер зрения C-RADIO + коннектор.</b> Преобразует изображения, страницы документов и кадры видео в представления, которые может обрабатывать языковая архитектура. После квантования эти компоненты сохраняются в BF16.', '<b>Гибридная архитектура MoE.</b> Чередующиеся слои Mamba-2, MoE и внимания. 512 маршрутизируемых экспертов на слой MoE, 12 млрд из 120 млрд параметров активны на каждый токен. Дистиллирована из Nemotron 3 Ultra.', '<b>Быстрое декодирование.</b> Встроенное предсказание нескольких токенов формирует несколько черновых токенов для проверки за 1 проход. На DGX Spark черновой модуль LiLiCorr обеспечивает до 2,3-кратного ускорения генерации токенов.', '<b>Вывод.</b> Текстовые ответы, рассуждения (переключаются с помощью enable_thinking) и вызовы инструментов. NVIDIA сообщает о скорости более 600 выходных токенов в секунду на агентских задачах Artificial Analysis через Baseten.']; var si=0,timer=null,st=$$('.stage'); function show(i){si=(i+5)%5;st.forEach(function(s,k){s.classList.toggle('on',k===si)});$('#mtp-detail').innerHTML=D[si];$('#mtp-step').textContent='Шаг '+(si+1)+' из 5';setTimeout(resize,30)} st.forEach(function(s){s.addEventListener('click',function(){show(+s.getAttribute('data-i'))})}); $('#mtp-next').addEventListener('click',function(){show(si+1)}); $('#mtp-prev').addEventListener('click',function(){show(si-1)}); $('#mtp-play').addEventListener('click',function(){var b=this;if(timer){clearInterval(timer);timer=null;b.textContent=' Автовоспроизведение'}else{timer=setInterval(function(){show(si+1)},2200);b.textContent='❚❚ Пауза'}}); show(0); /* бенчмарки */ var B=[['GPQA-Diamond',89.90,89.52],['CharXiv reasoning',79.88,80.82],['BrowseComp',77.5,78],['SWE-bench Verified',71.07,71.10],['IFBench',71.50,70.86],['MMLongBench-Doc',62.82,62.82],['Terminal-Bench 2.1',60.80,66.70],['OSWorld-Verified',52.3,51.14],['tau3-bench banking',17.78,18.88]]; var cur='nv'; function drawBars(c){cur=c;var h='';B.forEach(function(r,i){var v=c==='nv'?r[1]:r[2];h+='<div class="bar"><span class="nm">'+r[0]+'</span><div class="track"><div class="fill'+(i===B.length-1?' low':'')+'" data-w="'+v+'"></div></div><span class="val">'+v.toFixed(2)+'</span></div>'}); $('#mtp-bars').innerHTML=h;requestAnimationFrame(function(){requestAnimationFrame(function(){$$('#mtp-bars .fill').forEach(function(f){f.style.width=f.getAttribute('data-w')+'%'})})});setTimeout(resize,60)} $$('.seg button').forEach(function(b){b.addEventListener('click',function(){$$('.seg button').forEach(function(x){x.classList.remove('on')});b.classList.add('on');drawBars(b.getAttribute('data-c'))})}); /* сравнение */ var C=[['GPQA Diamond','89.90','86.6','89.5'],['SWE-bench Verified','71.07','72.0','80.2'],['IFBench','71.50','76.1','82.2'],['CharXiv reasoning','79.88','77.2','77.4'],['BrowseComp','77.5','63.8','77.4']]; function drawCmp(){var h='';C.forEach(function(r){h+='<div class="row"><div class="rt">'+r[0]+'</div>'+ '<div class="b me"><span class="nm">Super VL</span><div class="track"><div class="fill" data-w="'+r[1]+'"></div></div><span class="val">'+r[1]+'</span></div>'+ '<div class="b"><span class="nm">Qwen3.5-122B-A10B</span><div class="track"><div class="fill q" data-w="'+r[2]+'"></div></div><span class="val">'+r[2]+'</span></div>'+ '<div class="b"><span class="nm">Inkling-Small</span><div class="track"><div class="fill i" data-w="'+r[3]+'"></div></div><span class="val">'+r[3]+'</span></div></div>'}); $('#mtp-cmp').innerHTML=h;requestAnimationFrame(function(){requestAnimationFrame(function(){$$('#mtp-cmp .fill').forEach(function(f){f.style.width=f.getAttribute('data-w')+'%'})})});setTimeout(resize,60)} /* развёртывание */ var H=[ ['<b>1x DGX Spark (GB10).</b> Текст и изображения, контекст объёмом 1 млн токенов в vLLM. NVIDIA рекомендует черновой модуль LiLiCorr для всех развёртываний на Spark.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --max-num-seqs 1 --trust-remote-code \\\n --speculative_config.model nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr \\\n --speculative_config.num_speculative_tokens 7 \\\n --speculative_config.method dflash \\\n --reasoning-parser nemotron_v3'], ['<b>1x H200.</b> Текст, изображения и видео, контекст объёмом 1 млн токенов, MTP с 3 черновыми токенами. Та же команда, что и для 2x H100, с tensor parallel 1.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --tensor-parallel-size 1 --trust-remote-code \\\n --speculative-config.method mtp \\\n --speculative-config.num_speculative_tokens 3 \\\n --reasoning-parser nemotron_v3'], ['<b>2x H100.</b> Текст, изображения и видео, контекст объёмом 1 млн токенов, MTP с 3 черновыми токенами. Использует W4A16 на GPU не семейства Blackwell.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --tensor-parallel-size 2 --trust-remote-code \\\n --speculative-config.method mtp \\\n --speculative-config.num_speculative_tokens 3 \\\n --reasoning-parser nemotron_v3'], ['<b>1x GB200.</b> Текст, изображения и видео, контекст объёмом 1 млн токенов, MTP с 5 черновыми токенами. Полный W4A4 NVFP4 на Blackwell. Также доступны рецепты для SGLang и TensorRT-LLM.','vllm serve nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 \\\n --max-num-seqs 512 --trust-remote-code \\\n --speculative_config.method mtp \\\n --speculative_config.num_speculative_tokens 5 \\\n --reasoning-parser nemotron_v3']]; function hw(i){$$('.chip').forEach(function(c,k){c.classList.toggle('on',k===i)});$('#mtp-hwd').innerHTML=H[i][0];$('#mtp-code').textContent=H[i][1];setTimeout(resize,30)} $$('.chip').forEach(function(c){c.addEventListener('click',function(){hw(+c.getAttribute('data-h'))})});hw(0); window.addEventListener('load',resize);window.addEventListener('resize',resize);setTimeout(resize,300); })(); </script> </body> </html> ">

Как она сравнивается с аналогичными открытыми моделями?

Характеристика	Nemotron 3.5 Super VL	Qwen3.5-122B-A10B	Inkling-Small	Nemotron 3 Ultra
Разработчик	NVIDIA	Alibaba Qwen	Thinking Machines Lab	NVIDIA
Всего / активных параметров	120B / 12B	122B / 10B	276B / 12B	550B / 55B
Контекст	До 1 млн	262 144 нативно, расширяется до 1 010 000	Не раскрыт в карточке модели	Оценивался на 1 млн (Ruler @1M)
Входные данные	Текст, изображения, видео	Текст, изображения, видео	Текст, изображения, аудио	Не раскрыты
Лицензия	OpenMDW-1.1	Apache 2.0	Apache 2.0	OpenMDW-1.1
Рекомендуемое оборудование	1x DGX Spark, 1x H200, 2x H100 или 1x GB200	Пример обслуживания с тензорным параллелизмом на 8 GPU	Не раскрыто	Не раскрыто
GPQA Diamond	89.90	86.6	89.5	Не раскрыто
SWE-bench Verified	71.07	72.0	80.2 (оболочка только с bash)	65–70.4 (на 5 оболочках)
IFBench	71.50	76.1	82.2	82
CharXiv reasoning	79.88	77.2	77.4	Не раскрыто
BrowseComp	77.5	63.8	77.4 (с управлением контекстом)	Не раскрыто
Terminal-Bench	60.80 (v2.1)	49.4 (v2)	64.7 (v2.1, лучшая оболочка)	54 (v2.0)

Результаты указаны самими разработчиками. Оболочки и версии бенчмарков различаются, поэтому к разнице в несколько баллов следует относиться с осторожностью.

Как разработчики могут развернуть модель?

Super VL доступна на Hugging Face, OpenRouter, ModelScope и в качестве NVIDIA NIM. Поддерживаемые среды выполнения — vLLM, SGLang и TensorRT-LLM на Blackwell и Hopper. Для локального запуска доступны llama.cpp и Unsloth.

Для производственного использования рецепты Dynamo добавляют маршрутизацию с учётом KV-кэша. На 16 GPU B200 при скорости 50 токенов в секунду на пользователя NVIDIA сообщает о 8-кратном увеличении числа обслуживаемых пользователей. Задержка до первого токена снижается на 85%.

Кастомизация выполняется через NeMo AutoModel для SFT и LoRA, а также через NeMo RL для обучения с подкреплением. NVIDIA приводит следующие предварительные результаты:

Scale AI для обработки кредитных документов поставщиков Skydance: в 40 раз меньшая стоимость вывода и в 5 раз меньшая задержка.
Ramp для извлечения данных из чеков в JSON: ожидается до 50% более высокая пропускная способность и в 10 раз меньшая задержка.
AI21 для анализа угроз Alice: точность выше на 40%.

Что представляют собой модели Nemotron 3.5 Bolt?

Nemotron 3.5 Bolt 74B-A9B предназначена для локальных агентов. В материалах о запуске NVIDIA описывает её как модель, дистиллированную из Super VL. Нативное 2-битное квантование позволяет разместить её в 24 ГБ памяти на системах RTX и DGX Spark. NVIDIA заявляет, что среди открытых моделей своего класса она занимает первое место в PinchBench. Среди открытых моделей она занимает второе место в BrowseComp. Сейчас она доступна на Hugging Face с поддержкой llama.cpp, Ollama, LM Studio, Unsloth и vLLM.

Bolt E4B объёмом 4 ГБ выйдет 23 октября. Она предназначена для голосовых помощников и встроенных агентов на GeForce RTX, Jetson и RTX или DGX Spark.

Основные выводы

MoE на 120 млрд параметров, 12 млрд активных, контекст 1 млн, открытые веса по лицензии OpenMDW-1.1.
Одна модель работает с текстом, изображениями, документами, видео, инструментами и кодом.
Контрольная точка NVFP4 запускается на одном DGX Spark, H200 или GB200.
89.90 на GPQA-Diamond, но только 17.78 на tau3-bench banking.
Bolt 74B-A9B обеспечивает локальную агентную модель объёмом 24 ГБ для ПК с RTX.

Ознакомьтесь с техническим отчётом, карточкой модели и руководством по использованию. Вся заслуга принадлежит исследователю этого проекта. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту о машинном обучении с более чем 150 тысячами участников и подписаться на нашу рассылку. Постойте! Вы пользуетесь Telegram? теперь вы также можете присоединиться к нам в Telegram.

Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.