SimpleQA Verified

Name: SimpleQA Verified
Creator: Epoch AI

Epoch AI / 知识 · 短问题的事实准确性

在千机新闻中参与排名

证据预算4%

上游数据时间09/30 06:00

最近成功同步10/03 10:55

它测什么，怎么测

只取 Epoch 自行复跑的 mean_score，采用固定推理档位；不读取 ECI 或 Best score 聚合列。

正式计分；同题家族共用固定预算。

按固定规则，每个公开模型采用一套代表配置。匿名测试型号不展示，保留原榜名次，每项最多 30 个。

原榜名次	原榜型号	原始成绩	代表配置
1	gpt-6-astra_maxopenai	75.6%	Max 推理
2	gpt-6.1-sol_maxopenai	73.9%	Max 推理
3	gemini-3.1-pro-preview_highgoogle	73.5%	High 推理
4	claude-opus-5-5_maxanthropic	72.2%	Max 推理
5	claude-fable-5-1_maxanthropic	70.8%	Max 推理
6	claude-fable-5_xhighanthropic	70.7%	xHigh 推理
7	gpt-5.6-sol_maxopenai	69.7%	Max 推理
7	gemini-3.8-flash_highgoogle	69.7%	High 推理
9	gemini-3.7-flash_highgoogle	69.2%	High 推理
10	gemini-3-flash-preview_high—	66.8%	High 推理
11	gemini-3.5-flash_highgoogle	66.2%	High 推理
11	gemini-3.6-flash_highgoogle	66.2%	High 推理
13	gpt-5.5_xhighopenai	63.0%	xHigh 推理
14	gpt-6-sol_maxopenai	60.7%	Max 推理
15	muse-spark-1.2_xhighmeta	60.3%	xHigh 推理
16	claude-opus-5_maxanthropic	59.9%	Max 推理
17	muse-spark-1.1meta	57.8%	来源默认配置
18	grok-4.7_xhighxai	56.0%	xHigh 推理
19	qwen3.7-max—	55.8%	来源默认配置
20	claude-opus-4-8_maxanthropic	53.0%	Max 推理
21	deepseek-v4-pro-0813_max—	52.9%	Max 推理
22	qwen3.6-max-previewalibaba	52.0%	来源默认配置
23	claude-opus-4-7_xhighanthropic	51.7%	xHigh 推理
24	kimi-k3_max—	50.6%	Max 推理
25	gpt-5-2025-08-07_high—	50.1%	High 推理
26	o3-2025-04-16_highopenai	49.4%	High 推理
28	grok-4.6_xhighxai	48.9%	xHigh 推理
29	qwen3-max-2025-09-23alibaba	48.7%	来源默认配置
30	grok-4.5_highxai	48.3%	High 推理
31	gpt-5.1-2025-11-13_highOpenAI	48.0%	High 推理

评测局限与数据署名

正式计分；同题家族共用固定预算。

数据许可：CC BY 4.0 · Epoch AI 自行评测数据

成绩由 Epoch AI 发布，原始分数与千机新闻共识分使用不同尺度，不能直接相加。