Answer.AI 与 LightOn 发布 ModernBERT 编码器模型系列

Answer.AI 与 LightOn 发布 ModernBERT，包含 1.49 亿参数的 Base 和 3.95 亿参数的 Large，可作为 BERT 类模型的替代品。该系列支持最长 8192 个 token 的输入，并以检索、分类、问答和代码相关任务为应用方向；基础模型开箱仅支持掩码词预测，其他任务需微调。文章称模型权重已开放，Transformers 将在 v4.48.0 纳入支持。