Масштабування попереднього навчання для індійських мов: 2,8 трильйона токенів і відкритий конвеєр генерування даних
Автори: AI4Bharat — Мохаммед Саfi Ур Рахман Хан, Мітеш Кхапра, Ануп Кунчукуттан. NVIDIA — Нікет Агарвал, Равірадж Джоші, Ануша Камат, Маркус Клігль, Єв Маєр, Срігарша Ніверті, Кіран Правін, Уткарш Вайдья.
Ми раді представити Nemotron-pretraining-Indic-v1 — приблизно 2,8 трильйона токенів 22 індійськими мовами, який незабаром буде випущено разом із відкритим конвеєром генерації даних із прискоренням на GPU, використаним для його створення. Це 22 мови, перелічені в Конституції Індії: перші мови для 97% індійців, або майже 1,2 мільярда громадян за даними перепису 2011 року. Цей реліз, розроблений NVIDIA спільно з IIT Madras, провідним інженерним інститутом Індії, та його лабораторією AI4Bharat, надає розробникам моделей значний новий ресурс для попереднього навчання індійськими мовами. Конвеєр охоплює повний рецепт генерації, зокрема промпти, робочі процеси LLM і перевірки якості, щоб розробники могли адаптувати його до власних вихідних матеріалів і генерувати більше даних для своїх потреб.
AI4Bharat — дослідницька лабораторія індійських мов при IIT Madras, яка створює набори даних і моделі з відкритим кодом для індійських мов. Її ресурси, як-от Sangraha, відкритий корпус для попереднього навчання 22 індійськими мовами, допомогли закласти основу відкритих досліджень мовних моделей індійських мов. Наш спільний реліз із відкритим кодом суттєво розширює обсяг відкритих синтетичних навчальних даних індійськими мовами, доступних спільноті. Він переносить широкий спектр відібраних англомовних матеріалів, зокрема математику, код і запитання-відповіді, індійськими мовами, надаючи командам більше навчальних матеріалів для створення моделей, здатних пояснювати технічні поняття, розв’язувати задачі та відповідати на запитання цими мовами. Кожен запис походить із відібраного вихідного документа, а кожен результат перевіряється щодо вхідних даних, тому синтетичний текст залишається прив’язаним до реальної інформації.
Мітеш Кхапра, який очолює AI4Bharat і потрапив до списку TIME100 AI 2025 року, сформулював основну проблему: технології індійських мов відстають від англійської, тому що «нам бракує достатньої кількості даних індійськими мовами». Ми відповідаємо на цей заклик, пропонуючи більше даних, а також відкритий рецепт для генерації нових.
Корпус також враховує те, як люди пишуть. Він містить дані в оригінальному письмі для всіх 22 мов і романізований текст для дванадцяти, охоплюючи 34 комбінації мов і систем письма. Наші робочі процеси поєднують переклад на рівні документа, оцінювання якості та цільове виправлення з перевірками, що зберігають такий вміст, як рівняння, таблиці й код. Ці дані доповнюють природно створений текст індійськими мовами, який залишається необхідним для локальних знань і культурного контексту.
Ми ділимося відкритим рецептом генерації, щоб спільнота могла не лише відтворити дані, а й розвинути цю роботу. Команди можуть безпосередньо використовувати корпус, адаптувати промпти та перевірки якості або додавати до робочого процесу власні вихідні документи. Відкриваючи і дані, і процес, ми прагнемо зробити великомасштабну генерацію даних індійськими мовами доступнішою та дати змогу більшій кількості розробників сприяти створенню потужніших моделей для індійських мов.
Подальше попереднє навчання Nemotron 3.5 Super VL додало 10 мільярдів індійськомовних токенів, узятих із підмножини цього корпусу для дванадцяти мов і природного тексту індійськими мовами. У нашому технічному звіті про модель наведено повну історію. Ми плануємо використовувати цей корпус у майбутніх моделях Nemotron.
Що містить корпус?
Рисунок 1. Корпус містить 2601,0 мільярда токенів в оригінальному письмі та 224,6 мільярда романізованих токенів. Підрахунки виконано за допомогою токенізатора Gemma-4. Записи документів містять переклади та варіанти письма спільних джерел; це не кількість унікальних англомовних документів.
Корпус має дві групи мовних конфігурацій:
- Дані в оригінальному письмі та романізовані дані: бенгальська, гуджараті, гінді, каннада, малаялам, маратхі, непальська, одія, пенджабі, тамільська, телугу та урду.
- Дані в оригінальному письмі: ассамська, бодо, догрі, кашмірська, конкані, майтхілі, маніпурі, санскрит, санталі та синдhi.
Тут оригінальне письмо описує систему письма: текст усе одно перекладається з англійської. Романізований означає текст індійською мовою, записаний латинкою, а не англійський переклад. Для кожної з дванадцяти мов із двома системами письма романізація охоплює підмножину схвалених перекладів в оригінальному письмі.
Ця відмінність важлива під час формування навчальної суміші. Записи в оригінальному письмі та романізовані записи забезпечують різний вплив систем письма, але можуть виражати однаковий зміст. Кількість токенів описує збережений корпус, включно зі схваленими перефразуваннями, а не бюджет токенів конкретного запуску навчання. Підрахунки також залежать від використаного токенізатора, тому інвентар корпусу та кількість навчальних токенів слід розглядати окремо.
Від англомовних вихідних документів до навчальних даних індійськими мовами
Щоб створити цей корпус, ми починаємо з документів із 15 піднаборів Nemotron-CC-v2, які охоплюють вебтексти, матеріали у форматі запитань і відповідей, математику, код та інший спеціалізований контент. Ми використовуємо NeMo Data Designer, фреймворк NVIDIA з відкритим кодом для генерації синтетичних даних, щоб виконувати переклад, перевірки якості та цільове виправлення. Упродовж усього робочого процесу ми зберігаємо ідентифікатор кожного джерела, щоб розробники могли простежити результат до його оригінального документа. Така чітка інформація про походження є частиною того, що робить відкриті дані придатними для аудиту та подальшого використання. На рисунку 2 показано робочий процес для дванадцяти мов.
Рисунок 2. Чотириетапний конвеєр створення синтетичних даних індійськими мовами для дванадцяти мов, реалізований за допомогою NeMo Data Designer і Gemma-4-31B-it. Ми перекладаємо англомовні документи, оцінюємо якість перекладу, виправляємо результати з низькими оцінками та перетворюємо підмножину схвалених перекладів на латинку. Для інших десяти мов використовується окремий робочий процес Indic Translate, описаний нижче.
Робочий процес для дванадцяти мов
Для цих дванадцяти мов ми перекладаємо документи повністю, щоб модель могла використовувати контекст між абзацами, таблицями та рівняннями. Ми обрали Gemma-4-31B-it, порівнюючи моделі на повних документах і перевіряючи якість перекладу та збереження технічного вмісту. Наші промпти розрізняють прозовий текст, який потрібно перекласти, і вміст, який потрібно зберегти, зокрема код, рівняння, URL-адреси та форматування.
Після перекладу ми використовуємо ту саму модель, щоб оцінити кожен результат щодо його англомовного джерела. Рубрика, натхненна багатовимірними показниками якості (MQM), відкритим фреймворком для класифікації помилок перекладу за типом і серйозністю, охоплює зміст, плавність, термінологію, стиль і форматування. Ми залишаємо лише результати, які набрали щонайменше 75 балів зі 100 (це бал за рубрикою, а не відсоток точності). Для результатів із нижчими балами ми використовуємо відгуки оцінювання для виправлення, а потім повторно оцінюємо їх за тим самим порогом. Цей процес відновив 438,4 мільярда токенів у даних в оригінальному письмі та романізованих даних; вони вже враховані в загальному обсязі корпусу. Вибіркові перевірки людьми та тести з навмисно внесеними помилками допомогли виявити пропуски й залишки англійського тексту, що сприяло вдосконаленню наших промптів і перевірок.
Схвалені переклади в оригінальному письмі також є відправною точкою для романізованих даних. Ми перетворюємо підмножину на латинку та перевіряємо кожен результат щодо його вхідного тексту в оригінальному письмі. Це відокремлює переклад від перетворення системи письма. Під час нашого початкового порівняння людьми цей двоетапний підхід дав менше галюцинованих додавань і менше залишкового англійського тексту, ніж безпосередня генерація романізованого тексту з англійської.
Робочий процес для десяти мов
Для інших десяти мов ми адаптуємо робочий процес, щоб розв’язати проблеми якості довгих документів і стабільності письма, виявлені під час наших порівнянь. Ми перекладаємо за допомогою Indic Translate — моделі перекладу на рівні документа для англійської та 22 індійських мов від Bodhan AI, неприбуткового центру штучного інтелекту в освіті, інкубованого в IIT Madras. Потім Gemma-4-31B-it оцінює кожен переклад щодо його англомовного джерела. Для восьми мов ми зберігаємо підхід із повним документом. Для довших документів санталі ми перекладаємо перекривні вікна та відновлюємо документ; для маніпурі перекладаємо бенгальським письмом, а потім перетворюємо на мейтей-майєк, його оригінальне письмо. Ці робочі процеси зберігають результати з оцінкою щонайменше 75 зі 100 і створюють лише дані в оригінальному письмі, без переписування на основі відгуків.
Що змінилося після подальшого попереднього навчання індійськими мовами?
У технічному звіті Nemotron 3.5 Super VL порівнюється контрольна точка безпосередньо перед подальшим попереднім навчанням індійськими мовами (CPT) з контрольною точкою після цього етапу. Налаштований бюджет становив 100 мільярдів навчальних токенів, причому 10% (10 мільярдів токенів) було виділено на суміш синтетичного та природного тексту індійськими мовами. Решта 90% зберігала відносні пропорції попередньої навчальної суміші.
Показники зросли в усіх п’яти представлених бенчмарках знань і міркування індійськими мовами: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy та Indic GSM8K.
Рисунок 3. Nemotron 3.5 Super VL до та після етапу CPT індійськими мовами. Приріст становить від 4,98 до 9,82 процентного пункту. Порівняння показує зміни протягом етапу навчання, який поєднує синтетичні та природні дані індійськими мовами, а не ізолює внесок синтетичного корпусу. Охоплення мов відрізняється залежно від бенчмарку; це контрольні точки на рівні етапу, а не порівняння фінальних релізів моделей.
Джерело: технічний звіт Nemotron 3.5 Super VL, таблиця 2. GSM8K не містить одія, оскільки оцінювання перевищило ліміт контексту обслуговування.
Ці результати підтверджують рецепт CPT, що поєднує синтетичні та природні дані індійськими мовами, водночас залишаючи вибір суміші для інших моделей і мов предметом подальших досліджень.
Супровідний звіт про індійські мови досліджує суміші джерел, розмір пулу синтетичних даних і охоплення систем письма, використовуючи прийняті під час першого проходу дані для групи з дванадцяти мов. Оцінювання повного корпусу, зокрема відновлених перефразувань та інших десяти мов, залишається наступним кроком для таких контрольованих досліджень.
Ширші можливості індійськими мовами в Nemotron 3.5 Super VL
Якщо вийти за межі результатів етапу CPT, як випущена модель порівнюється з попереднім поколінням? На рисунку 4 Nemotron 3.5 Super VL порівнюється з Nemotron 3 Super за результатами завдань індійськими мовами та якістю мовлення. Ці результати відображають повний конвеєр навчання випущеної моделі, зокрема CPT індійськими мовами та післянавчання.
Nemotron 3.5 Super VL набирає більше балів у п’яти з шести наведених бенчмарків завдань, що охоплюють знання, міркування, математику, код і переклад. Дотримання інструкцій за IFEval 1.5 знизилося на 2,04 бала. Модель також покращилася за всіма чотирма вимірами IndiVibe: корисністю, плавністю, відповідністю мови й письма та доречною багатослівністю. IndiVibe — відкритий бенчмарк Sarvam AI для промптів у стилі асистента індійськими мовами. Разом ці оцінювання перевіряють і те, що вміє модель, і те, наскільки добре вона спілкується індійськими мовами.
Рисунок 4. Результати завдань індійськими мовами та якість мовлення в поколіннях Nemotron Super. Ліворуч: шість бенчмарків завдань. Праворуч: попередні оцінки умовної переваги IndiVibe, а не прямі показники перемог у порівнянні один на один. Позначки показують зміни у процентних пунктах, за винятком WMT24++, який використовує бали chrF. Деталі бенчмарків та оцінювання дивіться в супровідному технічному звіті про індійські мови.
Почніть створювати
Завантажте корпус
Почніть із мов і систем письма, потрібних вашій моделі, перегляньте зразок, а перед навчанням ознайомтеся з карткою набору даних і ліцензією. Конфігурації використовують теги мови, письма та регіону: наприклад, hi-Deva-IN позначає гінді деванагарі, а hi-Latn-IN — романізовану гінді.
Наведений нижче приклад запитує ідентифікатор репозиторію з картки набору даних, потім знаходить доступні частини та передає потоком зразок.
from datasets import get_dataset_split_names, load_dataset
dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"
splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)
data = load_dataset(
dataset_id, name=config, split=splits[0], streaming=True
)
print(next(iter(data)))
Hugging Face Datasets підтримує потокове передавання, тому читачі можуть переглядати записи без завантаження всього корпусу. Коли реліз стане доступним, зафіксуйте ревізію набору даних для відтворюваних експериментів.
Для першого дослідження навчання порівнюйте суміші за фіксованого бюджету токенів і записуйте частки природних/синтетичних та оригінальних/романізованих даних. Відстежуйте результати для кожної мови разом зі збереженням можливостей англійською та якістю мови/письма. Створюючи відкладені частини, враховуйте записи, похідні від одного джерела в різних мовах і системах письма.
Щоб створити повніший рецепт, поєднайте корпус із даними післянавчання Nemotron, наприклад із колекціями Chat & Instruction або Post-Training Blends. Для синтетичних даних, специфічних для Індії, ініціалізуйте NeMo Data Designer за допомогою Nemotron-Personas-India — синтетичних персон англійською та гінді, обґрунтованих розподілами реального світу для Індії.
Адаптуйте рецепт генерації
Відкритий плагін Nemotron Bharat translation plugin для NeMo Data Designer надає промпти для перекладу й оцінювання, опційне переписування на основі відгуків, віконування документів і підтримку перемапування систем письма. Використовуйте його довідник конфігурації, щоб обрати моделі й мови, адаптувати промпти до своєї галузі та встановити параметри переписування. Супровідна примітка для розробників пояснює робочий процес та інженерні рішення.
Почніть із невеликого зразка власних вихідних документів. Перевірте якість перекладу та збереження коду, математики й форматування, а потім удоскональте промпти та перевірки за участю носіїв мови, перш ніж масштабувати процес. Розглядайте генерацію та приймання корпусу як окремі кроки: плагін повертає кандидатів і оцінки, тоді як ваша політика фільтрації визначає, які записи потрапляють до навчального корпусу.
Обсяг і обмеження
Переклад розширює доступ до вихідних матеріалів, але не замінює текст, спочатку написаний індійськими мовами, і не гарантує охоплення локальних знань та культури. Ми рекомендуємо поєднувати цей корпус із належним чином отриманим природним текстом індійськими мовами та оцінювати отриману суміш відповідно до передбаченого сценарію використання.
Оцінювання якості переважно автоматизоване й доповнюється вибірковою перевіркою людьми, охоплення якої різниться залежно від мови. У робочому процесі для дванадцяти мов (рисунок 2) перекладач також виконує роль оцінювача. У збереженому тексті все ще можуть міститися помилки, а робочий процес для десяти мов потребує ширшої перевірки носіями мови. Перевірки ідентифікаторів джерел усувають дублікати обробки; вони не є семантичною дедуплікацією подібного вмісту.
Паралельно з корпусом AI4Bharat при IIT Madras за підтримки NVIDIA створює Indic-LLM-Eval-Suite — відкриту колекцію бенчмарків для можливостей моделей індійськими мовами, яка постійно розвивається. Вона допомагає розробникам моделей оцінювати і результати завдань, і якість мови. Дивіться супровідну статтю Кращим моделям потрібні кращі бенчмарки: представляємо Indic-LLM-Eval-Suite.
Дослідіть мовні конфігурації, протестуйте навчальну суміш або адаптуйте відкритий рецепт до нової галузі. Поширення результатів для кожної мови та вдосконалень робочого процесу генерації допоможе спільноті розвивати цю роботу.
Додаткові матеріали та подяки
Супровідні звіти Scaling Synthetic Pre-training Data and Evaluation for Indic LLMs та Nemotron 3.5 Super VL and Lightning technical report містять дані про склад корпусу, методи генерації, експерименти й деталі оцінювання. Оцінювання — інша половина цієї роботи. Щодо бенчмарків дивіться супровідну статтю від AI4Bharat і NVIDIA: Кращим моделям потрібні кращі бенчмарки: представляємо Indic-LLM-Eval-Suite.
Ця робота об’єднує NVIDIA, IIT Madras, AI4Bharat і Bodhan AI. Ми також висловлюємо подяку за внесок у моделі та інструменти, використані в конвеєрі: Gemma від Google, Indic Translate від Bodhan AI та NeMo Data Designer. Додаткові ресурси NVIDIA доступні в колекції Nemotron Pre-Training Datasets.
Моделі, згадані в цій статті 4
Набори даних, згадані в цій статті 4
Колекції, згадані в цій статті 2
Спільнота
· Зареєструйтеся або увійдіть, щоб прокоментувати
Моделі, згадані в цій статті 4
Набори даних, згадані в цій статті 4
Колекції, згадані в цій статті 2
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.