SimpleQA Verified

Name: SimpleQA Verified
Creator: Epoch AI

Epoch AI / 知识 · 短问题的事实准确性

在 MyHOT 中参与排名

证据预算4%

上游数据时间09/23 02:27

最近成功同步09/29 23:22

它测什么，怎么测

只取 Epoch 自行复跑的 mean_score，采用固定推理档位；不读取 ECI 或 Best score 聚合列。

正式计分；同题家族共用固定预算。

按固定规则，每个公开模型采用一套代表配置。匿名测试型号不展示，保留原榜名次，每项最多 30 个。

原榜名次	原榜型号	原始成绩	代表配置
1	gpt-6-astra_maxOpenAI	75.6%	Max 推理
2	gemini-3.1-pro-preview_highGoogle	73.5%	High 推理
3	claude-opus-5-5_maxAnthropic	72.2%	Max 推理
4	claude-fable-5-1_maxAnthropic	70.8%	Max 推理
5	claude-fable-5_xhighAnthropic	70.7%	xHigh 推理
6	gpt-5.6-sol_maxOpenAI	69.7%	Max 推理
6	gemini-3.8-flash_highGoogle	69.7%	High 推理
8	gemini-3.7-flash_highGoogle	69.2%	High 推理
9	gemini-3-flash-preview_highGoogle	66.8%	High 推理
10	gemini-3.6-flash_highGoogle	66.2%	High 推理
10	gemini-3.5-flash_highGoogle	66.2%	High 推理
12	gpt-5.5_xhighOpenAI	63.0%	xHigh 推理
13	muse-spark-1.2_xhighMeta	60.3%	xHigh 推理
14	claude-opus-5_maxAnthropic	59.9%	Max 推理
15	muse-spark-1.1Meta	57.8%	来源默认配置
16	qwen3.7-maxAlibaba	55.8%	来源默认配置
17	claude-opus-4-8_maxAnthropic	53.0%	Max 推理
18	deepseek-v4-pro-0813_maxDeepSeek	52.9%	Max 推理
19	qwen3.6-max-previewAlibaba	52.0%	来源默认配置
20	claude-opus-4-7_xhighAnthropic	51.7%	xHigh 推理
21	kimi-k3_maxMoonshot AI	50.6%	Max 推理
22	gpt-5-2025-08-07_highOpenAI	50.1%	High 推理
23	o3-2025-04-16_highOpenAI	49.4%	High 推理
25	grok-4.6_xhighxAI	48.9%	xHigh 推理
26	qwen3-max-2025-09-23Alibaba	48.7%	来源默认配置
27	grok-4.5_highxAI	48.3%	High 推理
28	gpt-5.1-2025-11-13_highOpenAI	48.0%	High 推理
29	qwen3.8-max-0902_xhighAlibaba	47.3%	xHigh 推理
30	claude-opus-4-6_maxAnthropic	47.0%	Max 推理
31	deepseek-v4-pro_maxDeepSeek	47.0%	Max 推理

评测局限与数据署名

正式计分；同题家族共用固定预算。

数据许可：CC BY 4.0 · Epoch AI 自行评测数据

成绩由 Epoch AI 发布，原始分数与 MyHOT 共识分使用不同尺度，不能直接相加。