Мащабиране на предварителното обучение за индийски езици: 2,8 трилиона токена и отворен конвейер за генериране на данни
Автори: AI4Bharat — Mohammed Safi Ur Rahman Khan, Mitesh Khapra, Anoop Kunchukuttan. NVIDIA — Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen, Utkarsh Vaidya.
С радост представяме Nemotron-pretraining-Indic-v1 — приблизително 2,8 трилиона токена на 22 индийски езика, който скоро ще бъде публикуван заедно с отворения, GPU-ускорен конвейер за генериране на данни, използван за създаването му. Това са 22-та езика, изброени в Конституцията на Индия: първи езици за 97% от индийците, или близо 1,2 милиарда граждани според преброяването от 2011 г. Разработена от NVIDIA съвместно с IIT Madras, водещия инженерен институт в Индия, и неговата лаборатория AI4Bharat, тази публикация предоставя на създателите на модели значителен нов ресурс за предварително обучение на индийски езици. Конвейерът описва цялата рецепта за генериране, включително подсказките, работните процеси с LLM и проверките на качеството, така че разработчиците да могат да го адаптират към собствените си изходни материали и да генерират повече данни според нуждите си.
AI4Bharat, изследователската лаборатория за индийски езици на IIT Madras, създава набори от данни и модели с отворен код за индийски езици. Нейни ресурси като Sangraha — отворен корпус за предварително обучение на 22 индийски езика — помогнаха да се положат основите на изследванията върху езикови модели за индийски езици с отворен код. Съвместната ни публикация с отворен код представлява значително разширяване на отворените синтетични тренировъчни данни на индийски езици, които ще бъдат достъпни за общността. Тя пренася богат набор от курирани материали на английски, включително математика, код и въпроси и отговори, на индийски езици, предоставяйки на екипите повече тренировъчен материал за изграждане на модели, които могат да обясняват технически концепции, да решават задачи и да отговарят на въпроси на тези езици. Всеки запис води обратно до куриран изходен документ, а всеки резултат се проверява спрямо входа му, така че синтетичният текст да остане основан на реална информация.
Mitesh Khapra, който ръководи AI4Bharat и беше включен в списъка TIME100 AI за 2025 г., назова основния проблем: технологиите за индийски езици изостават от английския, защото „нямаме достатъчно данни за индийските езици“. Отговаряме на този призив с повече данни, както и с отворена рецепта за генериране на още.
Корпусът отчита и начина, по който хората пишат. Той включва данни на оригиналната писменост за всичките 22 езика и транслитериран текст за дванадесет от тях, обхващайки 34 комбинации от език и писменост. Работните ни процеси комбинират превод на ниво документ, оценка на качеството и целенасочена корекция, с проверки за запазване на съдържание като уравнения, таблици и код. Тези данни допълват естествено създадения текст на индийски езици, който остава от съществено значение за местното знание и културния контекст.
Споделяме отворената рецепта за генериране, за да може общността не само да възпроизведе данните, но и да развие тази работа. Екипите могат да използват корпуса директно, да адаптират подсказките и проверките на качеството или да добавят собствени изходни документи към работния процес. Като отваряме както данните, така и процеса, целим да направим широкомащабното генериране на данни за индийски езици по-достъпно и да дадем възможност на повече разработчици да допринасят за по-силни модели на индийските езици.
Продължаващото предварително обучение на Nemotron 3.5 Super VL добави 10 милиарда токена на индийски езици, извлечени от подмножество на този корпус на дванадесет езика и от естествен текст на индийски езици. Техническият ни доклад за модела обхваща цялата история. Планираме да надградим този корпус в бъдещи модели Nemotron.
Какво съдържа корпусът?
Фигура 1. Корпусът съдържа 2 601,0 милиарда токена на оригиналната писменост и 224,6 милиарда транслитерирани токена. Броевете използват токенизатора Gemma-4. Записите на документи включват преводи и варианти на писмеността на общи източници; те не представляват броя на уникалните документи на английски.
Корпусът има две групи езикови конфигурации:
- Данни на оригиналната писменост и транслитерирани данни: бенгалски, гуджарати, хинди, каннада, малаялам, маратхи, непалски, одия, пенджаби, тамилски, телугу и урду.
- Данни на оригиналната писменост: асамски, бодо, догри, кашмирски, конкани, майтхили, манипури, санскрит, сантали и синдхи.
Тук оригинална писменост описва системата на писане: текстът все още е преведен от английски. Транслитериран означава текст на индийски език, написан с латиница, а не превод на английски. За всеки от дванадесетте езика с две писмености транслитерацията обхваща подмножество от приетите преводи на оригиналната писменост.
Това разграничение е важно при създаването на тренировъчна смес. Записите на оригиналната писменост и транслитерираните записи предоставят различно излагане на писмеността, но могат да изразяват едно и също основно съдържание. Броят на токените описва запазения корпус, включително приетите преработки, а не бюджета от токени на дадено тренировъчно изпълнение. Броевете зависят и от използвания токенизатор, така че инвентаризацията на корпуса и броят на тренировъчните токени трябва да се разглеждат отделно.
От изходни документи на английски към тренировъчни данни на индийски езици
За да изградим този корпус, започваме с документи от 15 подмножества на Nemotron-CC-v2, обхващащи уеб текст, материали с въпроси и отговори, математика, код и друго специализирано съдържание. Използваме NeMo Data Designer, рамката на NVIDIA с отворен код за генериране на синтетични данни, за да изпълняваме превод, проверки на качеството и целенасочена корекция. По време на целия работен процес запазваме всеки идентификатор на източника, така че разработчиците да могат да проследят резултата обратно до оригиналния му документ. Ясният произход като този е част от това, което прави отворените данни практични за одит и надграждане. Фигура 2 показва работния процес за дванадесет езика.
Фигура 2. Четириетапен конвейер за синтетични данни на индийски езици за дванадесет езика, реализиран с помощта на NeMo Data Designer и Gemma-4-31B-it. Превеждаме английски документи, оценяваме качеството на превода, коригираме резултатите с ниска оценка и преобразуваме подмножество от приетите преводи в латиница. Останалите десет езика използват отделния работен процес Indic Translate, описан по-долу.
Работният процес за дванадесет езика
За тези дванадесет езика превеждаме документите изцяло, така че моделът да може да използва контекста между абзаци, таблици и уравнения. Избрахме Gemma-4-31B-it, като сравнихме моделите върху пълни документи и проверихме качеството на превода и запазването на техническото съдържание. Нашите подсказки разграничават прозата за превод от съдържанието за запазване, включително код, уравнения, URL адреси и форматиране.
След превода използваме същия модел, за да оцени всеки резултат спрямо английския му източник. Рубрика, вдъхновена от Multidimensional Quality Metrics (MQM), отворена рамка за класифициране на преводачески грешки по вид и тежест, обхваща смисъл, плавност, терминология, стил и форматиране. Запазваме само резултатите с оценка най-малко 75 от 100 (оценка по рубрика, а не процент на точност). За резултатите с по-ниска оценка използваме обратната връзка от оценяването, за да насочваме корекциите, след което ги оценяваме отново спрямо същия праг. Този процес възстанови 438,4 милиарда токена от данни на оригиналната писменост и транслитерирани данни, които вече са включени в общия размер на корпуса. Пробни човешки прегледи и тестове с умишлено въведени грешки помогнаха да се идентифицират пропуски и остатъчен английски текст, като така допринесоха за подобрения в подсказките и проверките ни.
Приетите преводи на оригиналната писменост служат и като отправна точка за транслитерираните данни. Преобразуваме подмножество в латиница и проверяваме всеки резултат спрямо входа му на оригиналната писменост. Така разделяме превода от преобразуването на писмеността. При първоначалното ни човешко сравнение този двустепенен подход доведе до по-малко халюцинирани добавки и по-малко остатъчен английски текст в сравнение с директното генериране на транслитериран текст от английски.
Работният процес за десет езика
За останалите десет езика адаптираме работния процес, за да се справим с проблемите с качеството на дългите документи и стабилността на писмеността, наблюдавани при сравненията ни. Превеждаме с Indic Translate, модел за превод на ниво документ от английски и 22 индийски езика, разработен от Bodhan AI, нестопански център за изкуствен интелект в образованието, инкубиран в IIT Madras. След това Gemma-4-31B-it оценява всеки превод спрямо английския му източник. За осем езика запазваме подхода с целия документ. За по-дългите документи на сантали превеждаме припокриващи се прозорци и възстановяваме документа; за манипури превеждаме на бенгалска писменост, преди да преобразуваме текста в мейтей майек, неговата оригинална писменост. Тези работни процеси запазват резултатите с оценка най-малко 75 от 100 и създават данни само на оригиналната писменост, без преработване въз основа на обратна връзка.
Какво се промени след продължаващото предварително обучение на индийски езици?
Техническият доклад за Nemotron 3.5 Super VL сравнява контролния пункт непосредствено преди продължаващото предварително обучение (CPT) на индийски езици с контролния пункт след този етап. Конфигурираният бюджет беше 100 милиарда тренировъчни токена, като 10% (10 милиарда токена) бяха отделени за смес от синтетичен и естествен текст на индийски езици. Останалите 90% запазиха относителните пропорции на предходната тренировъчна смес.
Резултатите се повишиха и в петте докладвани бенчмарка за знания и разсъждение на индийски езици: MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy и Indic GSM8K.
Фигура 3. Nemotron 3.5 Super VL преди и след етапа на CPT на индийски езици. Подобренията варират от 4,98 до 9,82 процентни пункта. Сравнението показва промяната в рамките на тренировъчен етап, който комбинира синтетични и естествени данни на индийски езици, а не изолира приноса на синтетичния корпус. Езиковото покритие се различава според бенчмарка; това са контролни пунктове на ниво етап, а не сравнение на финални версии на модели.
Източник: технически доклад за Nemotron 3.5 Super VL, таблица 2. GSM8K изключва одия, тъй като оценяването надхвърля ограничението на контекста за обслужване.
Тези подобрения подкрепят комбинираната рецепта за CPT на индийски езици със синтетични и естествени данни, като оставят избора на смес за други модели и езици за бъдещо проучване.
Съпътстващият доклад за индийските езици разглежда смесите от източници, размера на набора от синтетични данни и покритието на писменостите, използвайки приети данни от първия етап за групата от дванадесет езика. Оценяването на целия корпус, включително възстановените преработки и останалите десет езика, остава следваща стъпка за тези контролирани изследвания.
По-широки възможности за индийски езици в Nemotron 3.5 Super VL
Отвъд резултатите от етапа на CPT, как се сравнява публикуваният модел с предишното поколение? Фигура 4 сравнява Nemotron 3.5 Super VL с Nemotron 3 Super по отношение на резултатите при задачи на индийски езици и езиковото качество. Тези резултати отразяват целия тренировъчен конвейер на публикувания модел, включително CPT на индийски езици и последващото обучение.
Nemotron 3.5 Super VL постига по-високи резултати в пет от шестте показани бенчмарка за задачи, обхващащи знания, разсъждение, математика, код и превод. Следването на инструкции в IFEval 1.5 спадна с 2,04 пункта. Моделът се подобрява и по всичките четири измерения на IndiVibe: полезност, плавност, вярност към езика и писмеността и подходяща подробност. IndiVibe е отворен бенчмарк на Sarvam AI за подсказки в стил асистент на индийски езици. Заедно тези оценки разглеждат както какво може да прави моделът, така и колко добре комуникира на индийски езици.
Фигура 4. Резултати при задачи на индийски езици и езиково качество при поколенията Nemotron Super. Вляво: шест бенчмарка за задачи. Вдясно: предварителни резултати за условни предпочитания в IndiVibe, а не директни проценти на победи при сравнение едно към едно. Етикетите показват промените в процентни пунктове, с изключение на WMT24++, който използва точки chrF. Вижте съпътстващия технически доклад за индийските езици за подробности относно бенчмарковете и оценяването.
Започнете да изграждате
Заредете корпуса
Започнете с езиците и писменостите, от които се нуждае вашият модел, разгледайте пример и прегледайте картата на набора от данни и лиценза, преди да започнете обучението. Конфигурациите използват тагове за език, писменост и регион: например hi-Deva-IN означава хинди на деванагари, докато hi-Latn-IN означава транслитериран хинди.
Примерът по-долу изисква идентификатора на хранилището от картата на набора от данни, след което открива наличните дялове и предава поточно пример.
from datasets import get_dataset_split_names, load_dataset
dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"
splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)
data = load_dataset(
dataset_id, name=config, split=splits[0], streaming=True
)
print(next(iter(data)))
Hugging Face Datasets поддържа поточно предаване, така че читателите да могат да разглеждат записите, без да изтеглят целия корпус. След като публикацията стане достъпна, фиксирайте версия на набора от данни за възпроизводими експерименти.
За първо изследване на обучението сравнете смесите при фиксиран бюджет от токени и запишете дяловете на естествените/синтетичните и оригиналните/транслитерираните данни. Проследявайте резултатите по език заедно със запазването на възможностите на английски и качеството на езика/писмеността. При създаване на отделени набори отчитайте записите, произлизащи от един и същ източник на различни езици и писмености.
За да изградите по-пълна рецепта, комбинирайте корпуса с данни за последващо обучение на Nemotron, като колекциите Chat & Instruction или Post-Training Blends. За синтетични данни, специфични за Индия, заредете NeMo Data Designer с Nemotron-Personas-India — синтетични персони на английски и хинди, основани на разпределения от реалния свят за Индия.
Адаптирайте рецептата за генериране
Плъгинът Nemotron Bharat translation plugin с отворен код за NeMo Data Designer предоставя подсказки за превод и оценяване, опционално преработване въз основа на обратна връзка, прозорциране на документи и поддръжка на преобразуване на писмеността. Използвайте неговата справка за конфигурацията, за да изберете модели и езици, да адаптирате подсказките към своята област и да зададете параметри за преработване. Съпътстващата бележка за разработчици обяснява работния процес и инженерните решения.
Започнете с малък пример от собствените си изходни документи. Проверете качеството на превода и запазването на кода, математиката и форматирането, след което прецизирайте подсказките и проверките с рецензенти, владеещи съответния език, преди да увеличите мащаба. Разглеждайте генерирането и приемането на корпуса като отделни стъпки: плъгинът връща кандидати и оценки, докато политиката ви за филтриране определя кои записи влизат в тренировъчния корпус.
Обхват и ограничения
Преводът разширява достъпа до изходния материал, но не замества текста, първоначално написан на индийски езици, и не гарантира покритие на местното знание и култура. Препоръчваме да комбинирате този корпус с подходящо набавен естествен текст на индийски езици и да оцените получената смес спрямо предвидения случай на употреба.
Оценката на качеството е предимно автоматизирана и допълнена от извадков човешки преглед, чието покритие варира според езика. При работния процес за дванадесет езика (фигура 2) преводачът служи и като оценяващ. Запазеният текст все още може да съдържа грешки, а работният процес за десет езика се нуждае от по-широка проверка от носители на съответните езици. Проверките на идентификаторите на източниците премахват дублиранията при обработката; те не представляват семантично премахване на дублирани сходни съдържания.
Паралелно с корпуса AI4Bharat към IIT Madras, с подкрепата на NVIDIA, разработва Indic-LLM-Eval-Suite — отворена и развиваща се колекция от бенчмаркове за възможностите на моделите на индийски езици. Тя помага на създателите на модели да оценяват както резултатите при задачи, така и езиковото качество. Вижте съпътстващата статия, По-добрите модели се нуждаят от по-добри бенчмаркове: представяме Indic-LLM-Eval-Suite.
Разгледайте езиковите конфигурации, изпробвайте тренировъчна смес или адаптирайте отворената рецепта към нова област. Споделянето на резултати по езици и подобрения в работния процес за генериране може да помогне на общността да надгради тази работа.
Допълнително четене и благодарности
Съпътстващите доклади, Мащабиране на синтетичните данни за предварително обучение и оценяване за LLM на индийски езици и Технически доклад за Nemotron 3.5 Super VL и Lightning, предоставят отчет за корпуса, методите за генериране, експериментите и подробностите за оценяването. Оценяването е другата половина от тази работа. За страната на бенчмарковете вижте съпътстващата статия от AI4Bharat и NVIDIA, По-добрите модели се нуждаят от по-добри бенчмаркове: представяме Indic-LLM-Eval-Suite.
Тази работа обединява NVIDIA, IIT Madras, AI4Bharat и Bodhan AI. Изказваме благодарност и за приноса на моделите и инструментите, използвани в конвейера: Gemma на Google, Indic Translate на Bodhan AI и NeMo Data Designer. Допълнителни ресурси за данни от NVIDIA са налични в колекцията Nemotron Pre-Training Datasets.
Модели, споменати в тази статия 4
Набори от данни, споменати в тази статия 4
Колекции, споменати в тази статия 2
Общност
· Регистрирайте се или влезте, за да коментирате
Модели, споменати в тази статия 4
Набори от данни, споменати в тази статия 4
Колекции, споменати в тази статия 2
Преведено автоматично от английски. Оригиналната статия е на връзката по-долу.