Nemotron 3.5 Super VL от Nvidia — открытая модель, созданная для непрерывной работы корпоративных ИИ-агентов

Nvidia выпустила Nemotron 3.5 Super VL — открытую мультимодальную модель со 120 миллиардами параметров, созданную для корпоративных агентов. Одновременно с ней запускаются две компактные модели Bolt, предназначенные для переноса ИИ-агентов на локальные ПК и периферийные устройства.

Nvidia создала Nemotron 3.5 Super VL для специализированных агентов, которые непрерывно работают в фоновом режиме, обрабатывая текст, изображения, документы и видео.

Как компания объясняет в технической публикации в блоге, модель использует архитектуру смеси экспертов, в которой для каждого токена активны только 12 миллиардов из 120 миллиардов параметров. Nvidia разработала модель совместно с Nemotron Coalition — группой, в которую входят Mistral AI, Thinking Machines Lab, Perplexity и Black Forest Labs.

Одновременно выпущены две меньшие модели для локального оборудования. Nemotron 3.5 Bolt 74B-A9B 24GB выполняет агентские задачи на локальных машинах, а меньшая Bolt E4B 4GB, предназначенная для быстрых голосовых помощников, выйдет позже в этом месяце. По утверждению Nvidia, обе модели обеспечивают «наивысший интеллект на гигабайт памяти».

Super VL и Bolt пополняют существующую линейку Nemotron. Выпущенная в августе Lightning создана для высокой пропускной способности, а Ultra решает сложные задачи рассуждения. Все версии оптимизированы под оборудование Nvidia.

Nvidia заявляет о точности своей крупнейшей модели при размере в одну пятую

Nvidia дистиллировала Super VL из Nemotron 3 Ultra — своей крупнейшей модели для рассуждений. В задачах, где агент следует инструкциям, вызывает инструменты, проходит многоэтапные бизнес-процессы или анализирует изображения, Super VL, как утверждается, обеспечивает точность Ultra, имея примерно в пять раз меньше параметров. В агентских тестах Hermes и LangChain она фактически набирает больше баллов, чем Ultra, согласно Nvidia, а также превосходит предшественницу Nemotron 3 Super в тестах программирования SWE-bench и Terminal-Bench.

По данным Nvidia, на одном GPU Super VL обеспечивает до пятикратной пропускной способности по сравнению с другими открытыми моделями сопоставимого размера в агентских задачах; компания ссылается на рейтинг Artificial Analysis. В независимом тесте EXO Labs на DGX Spark ни одна другая модель не оказалась одновременно точнее и быстрее. Это преимущество в скорости особенно важно, когда агентам нужно обрабатывать большие объёмы задач на протяжении дней или недель.

В сравнении с передовыми закрытыми моделями Nvidia предлагает Super VL компаниям, которые хотят дообучать модель на собственных данных и запускать её на собственных серверах, не завися от условий использования провайдера. По словам Nvidia, это может заинтересовать страховщика, который непрерывно проверяет заявки на мошенничество, или финансовую компанию, оценивающую кредитоспособность по собственным критериям. Для кастомизации компания предоставляет фреймворк NeMo, конвейеры на Python и открытые наборы данных.

Сжатие и кэширование снижают вычислительные затраты

Nvidia сжимает Super VL с помощью 4-битного формата NVFP4. На GPU Blackwell модель полностью работает с 4-битной точностью, тогда как старые карты хранят с 4-битной точностью только веса, а вычисления выполняют с 16-битной точностью. Чувствительные части модели сохраняют более высокую точность. Чтобы предотвратить потерю качества, Nvidia обучила сжатую версию воспроизводить результаты несжатого оригинала.

Встроенный компонент для чернового вывода заранее предлагает несколько токенов, которые затем основная модель проверяет за один прямой проход. На DGX Spark Nvidia вместо этого рекомендует собственный метод LiLiCorr, который оценивает все черновые токены одновременно, обеспечивая более связный вывод. По словам Nvidia, этот подход ускоряет генерацию текста до 2,3 раза по сравнению с работой без спекулятивных черновиков.

Агенты отправляют одни и те же инструкции, описания инструментов и историю диалога с каждым запросом, поэтому Super VL кэширует вычисления для этих повторяющихся частей, а не выполняет их заново каждый раз. Программное обеспечение Nvidia для инференса Dynamo также направляет запросы из одной сессии на GPU, где уже хранится кэш этой сессии. На 16 GPU B200 это позволяет Super VL обслуживать в восемь раз больше одновременных пользователей, а время до первого токена сокращается на 85 процентов.

Super VL анализирует таблицы, графики и PDF без отдельной модели компьютерного зрения

В области работы с изображениями Nvidia сосредоточилась на материалах, с которыми агенты сталкиваются в повседневной работе: OCR, таблицах, графиках, многостраничных документах и видео. Super VL может интерпретировать график, связать его с таблицей в другом месте того же документа и обобщить оба элемента без отдельной модели изображений.

В тесте графиков CharXiv Super VL набирает 80,8 процента, согласно Nvidia, тогда как более старая Nemotron 3 Nano Omni достигла 63 процентов. Если модель также может выполнять код Python, результат повышается до 84 процентов. В рейтинге OCRBench v2 она входит в число лучших открытых моделей, утверждает Nvidia.

Локальные агенты по-прежнему требуют дорогого оборудования

Bolt 74B-A9B 24GB — урезанная версия Super VL, созданная как гибридная модель смеси экспертов, в которой на каждом шаге активны только 9 из 74 миллиардов параметров. Чтобы уместить её в 24 ГБ памяти, Nvidia применяет агрессивное 2-битное квантование весов.

Bolt справляется с повседневными локальными задачами, в которых агенту нужно выполнить несколько шагов, вызвать инструменты или найти информацию в интернете. По словам Nvidia, пользователи могут поручить ей писать и отлаживать код или определять, какие компоненты ПК совместимы с их системой.

Модель оптимизирована для RTX Spark от Nvidia — нового чипа для поддерживающих ИИ ноутбуков на Windows, а также для DGX Spark — компактной ИИ-рабочей станции с общей памятью объёмом до 128 ГБ. Она также работает на ПК с GeForce RTX, DGX Station и рабочих станциях RTX PRO, а также поддерживает llama.cpp, Ollama, LM Studio и vLLM.

Даже с сильным сжатием 24 ГБ — высокий порог. Такой объём памяти есть только у дорогого оборудования высокого класса, а при нынешних ценах на GPU большинство потребителей не может оправдать такие расходы. Пока локальный агент ориентирован на разработчиков и владельцев мощных рабочих станций.

Для менее производительных устройств Nvidia планирует Bolt E4B 4GB, хотя модель ещё не выпущена. Она предназначена для работы на картах GeForce RTX, модулях Jetson и RTX/DGX Spark, обеспечивая работу голосовых помощников, интерактивных персонажей или интерфейсов устройств. Предполагается, что модель сможет вести естественные диалоги, использовать инструменты на протяжении нескольких обменов сообщениями и учитывать происходящее в текущем приложении.

Среди первых пользователей — финансовые компании и специалисты по кибербезопасности

По словам Nvidia, десятки организаций уже дообучают Super VL под собственные задачи, главным образом в отраслях с большим объёмом документов и конфиденциальными данными. Scale AI адаптировала модель для агента, который обрабатывает кредиты поставщиков в медиакомпании Skydance; ожидается, что затраты снизятся в 40 раз, а время отклика — в пять раз. Ramp использует модель для преобразования фотографий чеков в структурированные данные и ожидает десятикратного ускорения отклика. EY применяет её для комплексной проверки при сделках по приобретению компаний, а Hebbia — для анализа кредитных соглашений.

Вторая волна пользователей приходит из сферы кибербезопасности. AI21 дообучила Super VL для компании Alice, занимающейся безопасностью, которая использует модель для анализа угроз и уязвимостей; по данным Nvidia, точность выросла на 40 процентов. Dream применяет модель для поиска уязвимостей, а CrowdStrike создаёт агентов для защиты корпоративных сетей. Salesforce планирует автоматизировать государственные рабочие процессы, R1 проводит аудит медицинских счетов, а Perplexity, Dassault Systèmes и Mercor также используют модель.

Nvidia публикует наборы данных и рецепты обучения

Nvidia выпускает веса в базовой, дообученной и сжатой 4-битной версиях, а также наборы данных и рецепты обучения и среды для обучения с подкреплением. Это делает Super VL более открытой, чем многие модели с открытыми весами, которые обычно публикуют только веса.

По данным Nvidia, во время предварительного обучения и продолжения предварительного обучения модель обработала более 25 триллионов токенов, а на последующее обучение и обучение с подкреплением пришлось ещё около четырёх миллионов примеров примерно в 100 открытых обучающих средах.

На Hugging Face Nvidia также выпускает несколько наборов данных, которые другие разработчики могут использовать для обучения или дообучения собственных моделей. Они охватывают применение инструментов агентами, следование инструкциям, работу с длинными текстами и понимание изображений, а другие наборы посвящены финансам, безопасности и справедливости.

Один из наборов данных посвящён языкам, на которых говорят в Индии. Nvidia создала его совместно с Индийским технологическим институтом в Мадрасе и его лабораторией ИИ AI4Bharat; он содержит около 2,83 триллиона токенов текста на 22 индийских языках.

Открытые модели продают оборудование Nvidia

Super VL работает на настольных системах вроде DGX Spark, DGX Station, RTX PRO и RTX, на модулях Jetson в периферийных устройствах, а также в центрах обработки данных и облаке. Через Nvidia NIM предприятия получают модель в виде готового к развёртыванию микросервиса с проверенными конфигурациями и поддержкой; обновления планируется выпускать каждые две недели. Веса доступны на Hugging Face для моделей Nemotron 3.5 Super VL 120B-A12B и Nemotron 3.5 Bolt 74B-A9B 24GB.

Nvidia выпускает модели открыто, но настраивает их под собственные продукты — от серверов центров обработки данных до рабочих станций. Любой, кто хочет получить максимум от Nemotron, в итоге покупает оборудование Nvidia.

Стратегия Nvidia в отношении открытых моделей служит её собственным интересам. Чем больше компаний запускают собственные открытые модели, тем выше спрос на вычислительное оборудование, а открытые модели, вероятно, ещё долго будут оптимизироваться под Nvidia. Тем временем Meta, Google, Anthropic и OpenAI создают собственные чипы и оптимизируют модели под них. Чтобы ещё больше распространить открытые ИИ-модели, Nvidia недавно инвестировала 12,9 миллиарда долларов в Hugging Face — одну из важнейших платформ для их разработки и распространения.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ и наш эксклюзивный отчёт о передовых разработках «AI Radar» шесть раз в год, иметь полный доступ к архиву и разделу комментариев.