跳到正文
原文
Simon Willison·· 21 小时前AI 评分33

Qwen3.8 27B 用英文单词做加法的基准测试

Qwen3.8 27B addition in words

AI 导读

一项基准测试检验本地 `Qwen3.8-27B-Q4_K_M.gguf` 模型能否只用英文单词表达整数加法结果。关闭推理时在 5,070 个用例上数值准确率为 23.57%,从 1-3 位数的 97.04% 降至 10-13 位数的 6.44%,格式符合率 96.17%;开启推理后在 169 例配对测试中答对 167 例。

来源:Simon Willison · simonwillison.net