跳到正文
千机 API
原文
Hugging Face Blog·· 7 小时前精选AI 评分66

StateBench:测试语言模型追踪长文档状态变化的能力

StateBench: Testing how language models track state changes over long documents

AI 导读

Hugging Face 发布 StateBench 基准,用于评估语言模型在长序列中追踪实体状态变化的能力,并比较不同架构在四种复杂度任务上的表现。预训练模型和前沿模型在输入变长时都可能在较难任务上失准;直接用任务训练时,Gated DeltaNet 和混合架构在部分任务上可泛化至训练序列长度的数万倍,而 Transformer 未能学会最难的通用有限状态追踪任务。

推荐理由

StateBench将长文档状态追踪划分为四个难度层级,并在统一任务上比较不同架构,便于区分模型在哪类状态更新中开始失效。

来源:Hugging Face Blog · huggingface.co