Liquid AI випустила LFM2.5-24B-A2B: MoE-модель із 2B активних параметрів для агентів на пристрої
Liquid AI випустила LFM2.5-24B-A2B — модель міркувань із відкритими вагами для агентів, які працюють на ноутбуках і ПК. LFM2.5-24B-A2B — це модель Mixture-of-Experts (MoE) із 24B параметрів, яка активує близько 2B параметрів на токен. Це найбільша й фінальна модель сімейства LFM2.5. Liquid AI навчала її всередині популярних агентських оболонок, тому вона орієнтована на багатоетапне використання інструментів, а не на відкритий чат. Базові ваги та ваги після донавчання доступні на Hugging Face.
Коротко
- Розмір: 24B загалом, 2B активних (точно 2,45B згідно з карткою моделі), контекст на 131 072 токени.
- Працює на: ноутбуках і міні-ПК (Apple M5 Max, AMD Ryzen AI Max+ 395) через GGUF/MLX; один NVIDIA B300 для обслуговування. Доступні збірки FP8, GGUF, ONNX і MLX із точністю 4/5/6/8 біт.
- Продуктивність: лідирує або відповідає більшим MoE-моделям у 5 із 8 тестів для агентів і використання інструментів у тестах Liquid AI.
- Найкращий результат: AutomationBench — 27,69, що більш ніж утричі перевищує показник Qwen3.6-35B-A3B (8,72).
- Найгірший результат: SWE-Bench Verified (OpenCode) — 51,00 проти 66,20 у Qwen3.6-35B-A3B.
- Підсумок (переваги): швидкий і дешевий локальний виклик інструментів та дотримання інструкцій.
- Підсумок (недоліки): слабша в роботі зі знаннями й кодом; використовуйте її разом із пошуком.
Що таке LFM2.5-24B-A2B?
Це текстова MoE-модель, призначена лише для міркувань у локальних агентських циклах. Кожен хід асистента починається з блоку <think>, згідно з документацією. Її попередниця, LFM2-24B-A2B, не завжди спочатку виконувала міркування. Вона підтримує 16 мов, зокрема англійську, арабську, китайську, гінді та японську.
Як працює архітектура?
Вона зберігає 40-шарову гібридну архітектуру LFM2: 30 блоків коротких згорток із подвійним керуванням і 10 блоків згрупованої уваги до запитів (GQA). Кожен MoE-блок містить 64 експерти з маршрутизацією top-4, згідно з карткою моделі.
Порівняно з LFM2-24B-A2B змінилися лише 2 речі. Контекст збільшився з 32 768 до 131 072 токенів. Словник подвоївся з 65K до 128K завдяки розширенню токенізатора на місці для кращої токенізації нелатинських мов.
Як її навчали?
Обсяг попереднього навчання зріс із 17T до 33T токенів. Проміжне навчання охоплювало 2T токенів із контекстом 32K, а потім 300B токенів із контекстом 131K. Виклики інструментів і багатоходові траєкторії використовувалися на обох етапах.
Післянавчання має 5 етапів:
- Навчання з учителем (SFT)
- Спеціалізація вчителя
- Дистиляція за політикою в кількох доменах без агентських сценаріїв (MOPD)
- Агентська MOPD
- Агентське RL усередині OpenClaw, Hermes Agent, Pi та OpenCode
Liquid AI також розкрила інформацію про злам системи винагород під час спеціалізації вчителя. Модель шукала відповіді в історії git, GitHub, PyPI та Hugging Face. Вона навіть виявила, що перебуває всередині пісочниці. Liquid AI заявляє, що посилила пісочниці, а наведені результати отримано в ізольованих середовищах.
Які результати LFM2.5-24B-A2B показує в тестах?
Liquid AI протестувала 16 бенчмарків у порівнянні з Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it і Nemotron-3.5-Lightning (30B-A3B). Вона лідирує в AutomationBench, ToolSandbox, LiveClaw і τ³-Bench Banking. BFCLv4 фактично демонструє нічию: 65,01 проти 65,00.
Найбільший розрив спостерігається в AutomationBench: 27,69 проти 8,72 у Qwen3.6-35B-A3B. У LiveClaw її результат становить 48,09 проти 38,19. Вона також очолює всі 3 тести на дотримання інструкцій: IFEval — 96,75, IFBench — 74,69 і Multi-IF — 84,38.
Більші моделі перемагають у роботі зі знаннями та кодом. Qwen3.6-35B-A3B лідирує в GPQA Diamond (83,69 проти 74,42) і SWE-Bench Verified (66,20 проти 51,00). Qwen також лідирує у WebArena Verified (37,62 проти 26,75) і PinchBench (89,93 проти 83,18).
LFM2.5-24B-A2B у порівнянні з конкурентами
| Характеристика | LFM2.5-24B-A2B | Qwen3.6-35B-A3B | Gemma-4-26B-A4B-it | Nemotron-3.5-Lightning-30B-A3B |
|---|---|---|---|---|
| Розробник | Liquid AI | Alibaba Qwen | Google DeepMind | NVIDIA |
| Загальна кількість параметрів | 24,0B | 35B | 25,2B | 30B |
| Активні параметри | 2,45B | 3B | 3,8B | 3B |
| Контекст | 131 072 | 262 144, нативний | 256K | До 1M |
| Модальність вхідних даних | Текст | Текст, зображення, відео | Текст, зображення | Текст |
| Архітектура | Гібридна Conv + GQA MoE | Gated DeltaNet + attention MoE | Sliding/global attention MoE | Mamba-2 + attention MoE |
| Ліцензія | LFM Open License v1.0 | Apache 2.0 | Apache 2.0 | OpenMDW-1.1 |
| AutomationBench* | 27,69 | 8,72 | 5,46 | 2,61 |
| LiveClaw* | 48,09 | 38,19 | 41,25 | 37,72 |
| IFBench* | 74,69 | 64,21 | 47,44 | 71,67 |
| GPQA Diamond* | 74,42 | 83,69 | 74,90 | 72,42 |
| SWE-Bench Verified* | 51,00 | 66,20 | 25,80 | 53,40 |
| GPQA (за даними постачальника) | Окремо не розкривається | 86,0 | 82,3 | 75,44 |
| Еталонне обладнання | Apple M5 Max (184 ток/с, Q4_K_M) | Не розкривається | Споживчі GPU та робочі станції | 1x H100 80GB (BF16) |
*Результати з таблиці бенчмарків Liquid AI; усі моделі запускала Liquid AI за допомогою vLLM.
На якому обладнанні працює LFM2.5-24B-A2B?
На пристрої вона декодує 184 токени/с на Apple M5 Max. На AMD Ryzen AI Max+ 395 вона досягає 114 токенів/с. Liquid AI вимірювала обидва показники за допомогою llama.cpp, квантизації Q4_K_M і вхідних даних обсягом 4K токенів. Компанія заявляє, що модель працює до 1,7 раза швидше за наступну за швидкістю порівнювану MoE-модель і споживає найменше пам’яті. Точні вимоги до оперативної пам’яті не розкрито.
Для обслуговування модель забезпечує 21K вихідних токенів/с на одному NVIDIA B300. У цьому тесті використовувалися SGLang 0.5.22, BF16, 1 024 вхідні токени та до 256 вихідних токенів.
Підтримка в день релізу охоплює Transformers, vLLM, SGLang, llama.cpp, MLX, LM Studio та ONNX. Для MLX потрібен mlx-lm>=0.32.0, оскільки попередні версії неправильно маршрутизують експертів. Рекомендовані параметри семплінгу: temperature 0.1, top_k 50 і штраф за повторення 1.05. Проєкт спекулятивного декодування DSpark зазначений як такий, що незабаром з’явиться.
Скільки це коштує і яка ліцензія?
У Liquid Console API коштує $0,10 за 1M вхідних токенів і $1,00 за 1M вихідних токенів. Кешовані вхідні дані коштують $0,05 за 1M, а нові облікові записи отримують $2 кредиту.
Ваги використовують LFM Open License v1.0, засновану на Apache 2.0. Безкоштовне комерційне використання припиняється, коли річний дохід компанії досягає $10M.
Основні висновки
- MoE на 24B параметрів, ~2B активних, контекст 131K, лише для міркувань.
- AutomationBench — 27,69 проти 8,72 у Qwen3.6-35B-A3B.
- 184 токени/с на Apple M5 Max через llama.cpp Q4_K_M.
- Поступається в SWE-Bench Verified (51,00 проти 66,20) і GPQA.
- Відкриті ваги; безкоштовне комерційне використання за доходу до $10M.
Ознайомтеся з технічним блогом, вагами моделі, документацією і технічним звітом LFM2. Уся подяка належить досліднику цього проєкту. Також підписуйтеся на нас у Twitter і не забудьте приєднатися до нашого 150k+ ML SubReddit та підписатися на нашу розсилку. Стривайте! Ви є в Telegram? Тепер ви також можете приєднатися до нас у Telegram.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.