Latent Space· Richard MacManus·· 2 小时前AI 评分58
Elorian 的 Glimpse 如何在 DecoyCount 视觉推理测试中与前沿模型比较
Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning
AI 导读
Elorian 与 Mercor 发布 DecoyCount 基准,用于测试语言模型是否真正计数物体,还是依赖视觉捷径和替代启发式。论文报告的前沿模型准确率均低于 50%,其中 GPT-6 Astra 为 43.17%;Elorian CEO Andrew Dai 称,Glimpse 在 1,660 个项目的单次内部测试中得分为 50.48%。
来源:Latent Space · latent.space