Hugging Face Blog·· 3 小时前精选AI 评分76
NVIDIA、IIT Madras与AI4Bharat推出约2.8万亿 token 的印度语言预训练语料与开放生成流程
Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
AI 导读
NVIDIA、IIT Madras与AI4Bharat推出 Nemotron-pretraining-Indic-v1，包含约2.8万亿 token，覆盖22种印度语言，并将开放用于生成语料的 GPU 加速数据流程。
推荐理由
语料规模之外，文章还披露了翻译、质量筛选与修复流程，并区分合成数据和自然文本对继续预训练的贡献边界，为复用数据配方提供了具体参考。
来源：Hugging Face Blog · huggingface.co