NVIDIA, IIT Madras ir AI4Bharat paskelbė apie maždaug 2,8 trln. žetonų „Nemotron-pretraining-Indic-v1“ korpusą. Jame bus gimtųjų rašto sistemų duomenys visoms 22 Indijos Konstitucijoje išvardytoms kalboms, o dvylikai kalbų – ir lotynišku raidynu perrašytas tekstas. Publikavimo metu rinkinį ir jo kūrimo procesą dar planuota išleisti.
Duomenys sukurti verčiant atrinktus angliškus šaltinius, tikrinant kokybę ir taisant silpnesnius rezultatus. Procese naudoti „NeMo Data Designer“, „Gemma-4-31B-it“ bei „Indic Translate“. Autoriai pabrėžia, kad sintetinis tekstas nepakeičia natūraliai parašyto vietinio turinio, o automatinė patikra negarantuoja klaidų nebuvimo.
Kodėl tai svarbu?
INVIS vertinimu, svarbiausia ne vien apimtis, bet atveriamas atkuriamas darbo procesas. Jis gali padėti kurti kitų mažiau aprūpintų kalbų rinkinius, jei kokybę papildomai tikrins gimtakalbiai.
Redakcijos pastaba
Originali lietuviška santrauka pagal bendrą NVIDIA ir AI4Bharat publikaciją.
