已阅读 0%

Gemini 4 Argon 幻觉率:15.1% 到底代表什么?

2026年10月5日

Gemini 4 Argon 并没有解决幻觉问题。在 2026 年 10 月 5 日的快照中,Artificial Analysis 列出的 AA-Omniscience 幻觉率为 15.1%,准确率为 49.9%。这是两个不同的指标,15.1% 也不是所有回答中错误回答的占比。

10 月 5 日快照

Artificial Analysis 模型记录显示:

AA-Omniscience 字段Argon (High)
准确率49.9%(0.499)
幻觉率15.1%(0.1506986)
配套的非幻觉率约 84.9%

配套数字约等于 1 减去报告的幻觉率。如果 Artificial Analysis 更新模型记录,应重新核对日期和数值,再把它当作当前成绩引用。

AA-Omniscience 幻觉率对比图,Gemini 4 Argon(High)的幻觉率为 15%,答对率为 50%。

来源:@rdominguezibar。图中标题是该帖的原文。脚注注明,图表使用 2026 年 9 月 30 日的 Artificial Analysis AA-Omniscience 数据;Argon(High)的成绩经过四舍五入,显示为 15% 幻觉率和 50% 答对率。该帖还表示 Argon 当时尚未公开提供,且只测试了 High 设置。上表使用 10 月 5 日的模型记录:15.1%(0.1506986)和 49.9% 准确率。

这个分母统计什么?

根据 AA-Omniscience 方法说明,准确率是正确回答数除以全部问题数。幻觉率的公式是:

incorrect / (incorrect + partial + not attempted)

正确回答不计入幻觉率分母。这个指标衡量的是:在模型没有获得“正确”评分的情况下,它有多大比例会直接断言一个错误答案;它不是所有回答的错误率。

Artificial Analysis AA-Omniscience 幻觉率图,Gemini 4 Argon(High)为 15%。

来源:@Cozycanvas53144,这是 Artificial Analysis 图表的截图。Argon(High)为 15%,并标注为尚未公开提供。图表上的定义与上方公式相同:错误回答数除以错误、部分回答和未尝试回答的总数。

一个用于说明的计算

下面的 1,000 道题分布只是解释公式的假设示例,并不是 Argon 的实际答题数量:

示意结果数量
正确800
错误30
部分回答或未尝试170

条件幻觉率为 30 / (30 + 170) = 15%。全部问题中的直接错误占比为 30 / 1,000 = 3%。快照中的 Argon 实际 AA-Omniscience 准确率约为 49.9%,因此不能把 800/30/170 这个示例说成 Argon 的实际分布。

这个成绩能说明什么?

这个成绩支持一个有限的结论:在这项评测中,Argon 在非正确结果中的错误回答率约为 15.1%。它不能证明每个回答都可靠,不能证明模型在不知道时总会拒答,也不能证明幻觉已经消失。同一记录中的准确率低于 50%,也表示模型在这项评测中大约有一半问题没有答对。

Argon 的其他评测请看按来源整理的基准测试。Token 价格与访问时间请看 API 价格和发布状态。Gemma 4 是独立的开放权重模型;实际运行时的问题排查可参考故障排除指南。

gemma4 — interact

在线体验 Gemma 4

~/gemma4 $ 先在浏览器中体验 Gemma 4,再决定是否在本地安装。

打开 Gemma 4 在线体验 />
Gemma 4 AI

Gemma 4 AI

相关指南