Meta представила Muse Spark Open: MoE с открытыми весами, 816 млрд параметров и контекстом в 1 млн токенов
Meta Superintelligence Labs выпустила Muse Spark Open — версию своей модели Muse Spark с открытыми весами. Muse Spark Open — это модель Mixture-of-Experts с 816 млрд параметров, из которых для каждого токена активируются 42 млрд. Она принимает текст, изображения, видео и аудио, возвращает текст и поддерживает контекстное окно размером 1 млн токенов. Команда Meta утверждает, что на сегодняшний день это самая мощная модель с открытыми весами из США. Для разработчиков главная новость заключается в развертывании: сборка NVFP4 работает на 2 Mac Studio с M5 Ultra.
Кратко
- Размер: 816 млрд параметров всего / 42 млрд активных параметров (256 экспертов, 8 активных для каждого токена); контекст размером 1 млн токенов.
- Работает на: 2 Mac Studio (M5 Ultra, по 512 ГБ каждый) через MLX; 4 графических процессорах Blackwell Ultra или 8 H200 с NVFP4; конфигурации примерно на 300 ГБ через Unsloth 2-bit GGUF.
- Производительность: сильные результаты в агентном использовании инструментов; средние показатели среди крупных моделей с открытыми весами в задачах программирования.
- Лучший результат: MCP-Atlas — 89,2, высший результат в сравнительной таблице Meta.
- Худший результат: Terminal-Bench 2.1 — 76,4, ниже, чем у Kimi K3 (85,0), GLM 5.3 (83,9) и Qwen3.8 (82,0).
Что такое Muse Spark Open?
Muse Spark Open — нативно мультимодальная модель MoE от Meta, предназначенная для программирования и агентной работы с длинным горизонтом планирования. Веса доступны в форматах BF16 и NVFP4 на Hugging Face. Открытая версия прошла дополнительное постобучение на безопасность. Команда Meta заявляет, что это делает модель более устойчивой без системных защитных механизмов.
Как работает архитектура?
В карточке модели указаны 62 слоя и скрытая размерность 8192. Каждый слой MoE содержит 256 экспертов, а маршрутизация top-k активирует 8 экспертов для каждого токена. Используется внимание с группировкой запросов: 128 голов запросов и 16 голов KV. Отдельный Perception Encoder с 1,8 млрд параметров обрабатывает визуальный ввод. Словарь содержит 202 048 токенов, а обучающие данные охватывают более 100 языков.
Глубина рассуждений задается параметром reasoning_effort: low, medium, high или xhigh. По умолчанию используется xhigh.
Как Muse Spark Open показывает себя на бенчмарках?
Meta сравнивает ее с Kimi K3, GLM 5.3, Qwen3.8-2.4T-A95B и другими моделями при максимальном уровне рассуждений. Наиболее сильные результаты модель показывает в использовании инструментов и надежности знаний:
- MCP-Atlas: 89,2 — выше, чем у Qwen3.8 (84,5) и GLM 5.3 (84,2).
- JobBench: 61,8 — немного выше, чем у GLM 5.3 (61,4).
- HLE-Diamond, без инструментов: 26,1 против 22,2 у Kimi K3.
- AA Omniscience: 25 — высший результат в таблице Meta.
- ZeroBench с инструментами: 50,0 против 41,0 у Kimi K3.
Программирование — слабое место модели. В Terminal-Bench 2.1 с тестовой оболочкой Terminus 2 она набирает 76,4 балла. Kimi K3 получает 85,0, GLM 5.3 — 83,9, а Qwen3.8 — 82,0. Ее показатель Artificial Analysis Intelligence Index равен 39. Это ниже, чем у GLM 5.3 (45), Kimi K3 (44) и Qwen3.8 (40). Таким образом, утверждение о «самой мощной модели из США» сохраняется, однако китайские модели с открытыми весами по-прежнему лидируют в целом.
Некоторые результаты конкурентов предоставлены самими разработчиками; в методологии оценки перечислены все источники.
Какое оборудование требуется Muse Spark Open?
Согласно руководству для разработчиков Meta, веса BF16 занимают около 1,6 ТБ. Квантизация NVFP4 применяется только к экспертам, а итоговый объем составляет около 530 ГБ. В карточке модели рекомендуется использовать не менее 700 ГБ видеопамяти для NVFP4 и 2 ТБ для BF16.
- Центр обработки данных: NVFP4 на 4 графических процессорах Blackwell Ultra или 8 H200.
- Настольная конфигурация: 2 Mac Studio с M5 Ultra и 512 ГБ каждый, соединенные через Thunderbolt 5 с RDMA. Тензорный параллелизм MLX распределяет каждый слой между двумя компьютерами.
- Рабочая станция: Dynamic GGUF от Unsloth вплоть до 2-битной версии помещается примерно в 300 ГБ объединенной памяти.
Где разработчики могут запускать модель?
В первый день были доступны SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, MLX, llama.cpp и Unsloth. Размещенные API доступны на Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter и Together AI. OpenRouter указывает цену $1,25 за 1 млн входных токенов и $4,25 за 1 млн выходных токенов.
Две черновые модели ускоряют декодирование: DFlash V2 для SGLang и DSpark для vLLM. Meta сообщает о 3,7-кратном увеличении пропускной способности для одного запроса при использовании DFlash V2 на AMD MI355X. Дообучение поддерживается через TorchTitan, Hugging Face TRL и NVIDIA NeMo AutoModel.
Что разрешает лицензия Muse Model License?
Лицензия Muse Model License разрешает использование, дообучение, дистилляцию и распространение. Наиболее важны 2 условия:
- Продукты должны отображать надпись «Built with Muse Spark Open».
- Поставщикам Model-as-a-Service с выручкой свыше $20 млн за 12 месяцев требуется отдельное соглашение с Meta.
Внутреннее использование, исследования и применение модели для работы функций собственного продукта освобождаются от условия о выручке.
Muse Spark Open против Kimi K3, GLM 5.3 и Qwen3.8
| Характеристика | Muse Spark Open | Kimi K3 | GLM 5.3 | Qwen3.8-2.4T-A95B |
|---|---|---|---|---|
| Всего параметров | 816 млрд | 2,8 трлн | 753 млрд | 2,4 трлн |
| Активных параметров | 42 млрд | 104 млрд | ~40 млрд | 95 млрд |
| Контекст | 1 млн | 1 048 576 | 1 048 576 | 262 144 нативно, до 1 010 000 |
| Ввод | Текст, изображения, видео, аудио | Текст, изображения, видео | Текст | Текст |
| Лицензия | Muse Model License | Kimi K3 License | glm-5.3 license | qwen3.8-max license |
| Выпущенные веса | BF16, NVFP4 | MXFP4 (QAT) | BF16, FP8 | BF16 |
| AA Intelligence Index (по данным Meta) | 39 | 44 | 45 | 40 |
| Terminal-Bench 2.1, Terminus 2 (по данным Meta) | 76,4 | 85,0 | 83,9 | 82,0 |
| MCP-Atlas (по данным Meta) | 89,2 | 82,3 | 84,2 | 84,5 |
| Toolathlon Verified (по данным разработчика) | 72,8 | 76,5 | 73,0 | 72,5 |
| HLE с инструментами (по данным разработчика) | 61,0 | 56,0 | 62,5 | 56,2 |
| DeepSWE 1.1 (по данным разработчика, собственная оболочка) | 60 | 67,5 | 66,9 | 56,6 |
| Настольная конфигурация | 2x M5 Ultra Mac Studio | Не раскрывается | Не раскрывается | Не раскрывается |
Главные выводы
- 816 млрд параметров всего, 42 млрд активных, контекст 1 млн токенов, ввод текста/изображений/видео/аудио.
- Лидирует в таблице открытых моделей Meta по MCP-Atlas (89,2) и JobBench (61,8).
- Уступает Kimi K3, GLM 5.3 и Qwen3.8 в Terminal-Bench 2.1 (76,4).
- Сборка NVFP4 работает на 2 Mac Studio с M5 Ultra через MLX.
- Бесплатна для большинства пользователей; поставщикам MaaS с выручкой свыше $20 млн требуется соглашение.
Ознакомьтесь с весами модели, исследовательским блогом, руководством для разработчиков и методологией оценки. Вся благодарность принадлежит исследователю, работавшему над этим проектом. Также подписывайтесь на нас в Twitter и не забудьте присоединиться к нашему сабреддиту по машинному обучению с более чем 150 тыс. участников и подписаться на нашу рассылку. Постойте! Вы есть в Telegram? Теперь к нам можно присоединиться и в Telegram.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.