Granite Switch 4.1: чат, рішення та мовлення з однієї кінцевої точки

Назад до статей

Для підприємств Стаття

Опубліковано 15 жовтня 2026 року

Підтримати

Представлений минулої весни проєкт Granite Switch забезпечує модульний підхід до розробки моделей. Тепер моделі Granite Switch 4.1, оснащені адаптером Decision і найшвидшою ASR-моделлю в рейтингу OpenASR, можуть ефективно перемикатися між відповідями природною мовою, загальними та спеціалізованими рішеннями й завданнями перетворення мовлення на текст — і все це з однієї розміщеної кінцевої точки.

Зокрема, моделі Granite-Switch-4.1-8B і -30B налаштовані та містять:

новий Decision aLoRA для ухвалення рішень загального призначення (наприклад, v1/systemone),
спеціалізований Guardian aLoRA, який у середньому перевершує Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions і Clef-Flash у завданнях ухвалення рішень, пов’язаних із безпекою, і
Granite-Speech-5.0-Turbo-CTC — найшвидшу ASR-модель у рейтингу OpenASR, вбудовану для використання в завданнях транскрибування.

Усі три ці технології (разом із базовою моделлю) об’єднані в одну модель і займають на GPU приблизно стільки ж VRAM, скільки базова модель займала б самостійно. Це означає більше можливостей із меншою кількістю GPU.

А оскільки адаптери Switch створені як ефективні щодо кешу активовані LoRA, KV-кеш, створений під час генерації базової моделі, можна повторно використовувати для будь-яких подальших рішень на основі адаптерів. У поєднанні з нещодавніми внесками нашої команди до vLLM для пришвидшення інференсу адаптерів низького рангу, а також із розміщеним поруч ASR-кодером, моделі Granite Switch 4.1 можуть перемикатися між запитом на чат, запитом на ухвалення рішення та голосовим запитом із надзвичайно високою швидкістю.

Granite-switch-4.1-8b може транскрибувати аудіо, створювати резюме, перевіряти шкідливий контент і тестувати понад 15 загальних прапорців — усе це в реальному часі з однієї кінцевої точки.

Granite Libraries: оригінальні моделі ухвалення рішень

Моделі ухвалення рішень — не новинка. Наш попередній реліз Granite Libraries містить репозиторій спеціалізованих адаптерів «моделей ухвалення рішень» та інших адаптерів для спеціалізованих завдань, які можна об’єднувати в користувацькі моделі Granite Switch. І хоча закриті моделі ухвалення рішень, такі як Jev, зосереджені на універсальності, ми виявили, що багато наших спеціалізованих адаптерів granitelib можуть перевершувати універсальні моделі в завданнях спеціалізованої класифікації.

Порівняйте адаптери granitelib із моделями ухвалення рішень загального призначення під час оцінювання на завданнях спеціалізованої класифікації.

Оскільки адаптери спільно використовують KV-кеш базової моделі, додавання спеціалістів поряд з адаптером ухвалення рішень загального призначення майже нічого не коштує. Ви отримуєте широке охоплення завдяки універсальній моделі та вищу точність спеціалістів у завданнях, які вас цікавлять.

У «перегонах» між Granite-Switch-4.1-30B (заморожена базова Granite + 4 спеціалізовані aLoRA) і Jev-27B (заморожена базова модель Qwen + 1 загальна LoRA для ухвалення рішень) Granite-Switch-4.1-30B змогла виконати реальний п’ятиетапний робочий процес RAG значно швидше за конкурента.

Створіть і розширте власну модель Granite Switch

Granite-Switch-4.1-8B і -30B випускаються з «усім необхідним». Це моделі Granite Switch, які ми скомпілювали з попередньо визначеним набором корисних адаптерів. Але вам не обов’язково використовувати нашу версію. Будь-хто може створити власну модель Granite Switch, комбінуючи адаптери з Granite Libraries відповідно до своїх потреб.

Надалі ми бачимо величезні можливості для спільноти щодо створення та розширення моделей Granite Switch за допомогою власних адаптерів і адаптерів сторонніх розробників. Ми плануємо випустити SDK адаптерів для навчання адаптерів у Mellea, а також інші навчальні матеріали та підтримку Granite Switch. Це можуть бути адаптери спеціалізованої класифікації для доповнення робочих процесів на основі рішень або адаптери для спеціалізованих мовних завдань. Ви навіть могли б використовувати власні адаптери, щоб навчити версію Granite із 3 мільярдами параметрів грати в класичну гру Doom.

Подібно до Jev, наша користувацька модель Granite Switch із 3 мільярдами параметрів ухвалювала рішення за частки секунди для навігації у грі Doom, але робила це зі швидкістю 60–100 рішень на секунду порівняно із заявленими для Jev 10 рішеннями на секунду.¹ На відміну від Jev, ця модель Granite Switch також може коментувати гру та відповідати на ваші запитання під час гри.

Ми з нетерпінням чекаємо можливості оприлюднити більше деталей і даних про Granite Switch найближчими тижнями, але до того часу радимо випробувати наші найновіші моделі Switch та інші корисні ресурси для початку роботи.