Benchmark 介绍
AA-Omniscience v1.1 同时考查模型是否知道事实,以及不知道时是否会承认。答对得分,答错扣分,明确表示不知道不扣分,因此它也衡量模型避免编造答案的能力。
- 发布时间
- 发布方
- Artificial Analysis
- 任务规模
- 完整题库 3,000 道;公开 300 道
主要能力事实知识、准确作答与识别知识边界
更多信息
领域与任务分布
公开题库中,科学、工程与数学有 60 道,软件工程 60 道,金融、健康、人文与社会科学、法律各 45 道;完整题库按同样比例分配。
题目来源与制作
作者从学术及行业资料出发,使用大语言模型驱动的出题流程生成问题和参考答案,再进行筛选与修订。v1.1 还处理了旧版中含糊或有错误的题目。
任务形式与交付物
模型收到领域、子主题和一个事实问题,按要求只给答案,不展开解释。
代表性任务
官方示例中有一道 JavaScript 题:给出一个字符串转义函数及输入,要求写出返回的字符串字面量。模型既要知道函数行为,也要遵守题目指定的反斜杠表示方式。
测试条件
评测不提供外部上下文或工具。答案交给另一个评分模型分类;复测时需要记录评分模型和推理设置。
评分方式
答案分为正确、错误、部分正确和未作答。主指标为 100 ×(正确题数 − 错误题数)÷ 总题数,范围是 −100 到 100;部分正确和未作答记零分。例如 10 题中答对 6 题、答错 2 题、放弃 2 题,净得分为 40,正确率为 60%。
摘要
我们从公开版本的 300 道题中分层抽查了 100 道,其中 98 道 Accepted、1 道 Doubtful、1 道 Refused。
确认的问题出现在一道会计题:指定资料中有两个对象符合题目描述,题面未作区分,答案却只接受其中一个。另有一道心脏发育题存在文献解释的具体疑点。
| 定档 | 数量 | 含义 |
|---|---|---|
| Accepted | 98 | 在本轮审查范围内,我们未发现影响评测有效性的问题,也没有尚待核实的具体疑点。 |
| Doubtful | 1 | 我们发现了具体疑点,但触发条件、正确解释或评分影响仍待核实。 |
| Refused | 1 | 我们已确认至少一项影响评测有效性的问题。 |
审查范围与版本
使用AA-Omniscience Public v1.1, 1f9cbcec4720,按领域与子主题分层抽样,科学工程与数学、软件各20题,金融、健康、人文社科、法律各15题。结论截至2026年11月6日
问题分布
| 问题类型 | Refused | Doubtful | 合计 |
|---|---|---|---|
| C1答案或评分逻辑错误 | 0 | 1 | 1 |
| C2存在题面未说明的评分要求 | 1 | 0 | 1 |
| 合计 | 1 | 1 | 2 |
代表性案例
两个符合描述的利润小计
C2存在题面未说明的评分要求
题号 122 Refused
题目问IASB在2018年9月项目概览中,与EBIT一起提出的新利润表小计叫什么。参考答案为Business profit。
指定资料第10页却同时列出Business profit、Profit before investing, financing and income tax,以及EBIT。前两个都符合题目描述,而且不是同一个小计的长短名称:第12页例表分别给出3,000、3,500和3,900,差别涉及一体化联营与合营企业利润是否计入。
题面没有给出排除第二个对象的条件,评分却只认一个。
心脏分隔的起始阶段
C1答案或评分逻辑错误
题号 166 Doubtful
题目问人类胚胎心脏远端流出道何时开始分隔、何时形成独立的主动脉和肺动脉干。参考为Carnegie第16、18阶段;模型回答第14、16阶段,被判错误。
疑点在第一问:2003年论文图注把已分隔标本标为第14阶段,2012、2018年研究则支持第16阶段出现实际腔道分隔。
格律答案的部分给分
题号 220 Accepted
题目要求给出波斯诗格律代码4.5.11的名称,参考为khafif。模型答出更完整的Khafīf-e musaddas-e makhbūn-e maḥdhūf,并附音步和节律符号,原判为部分回答。
完整名称、音步和节律符号均正确。但题目只问名称,作答指令要求只给答案、不解释;附加音步和符号超出命名所需内容,部分给分有合理解释,复核后不再作为单题疑点。
细胞体遮光的依据
题号 5 Accepted
题目问两种没有可检测眼点的甲藻,靠什么结构在趋光时遮光。参考为Cell body,模型回答Chloroplasts,被判错误。
教材直接点名这两个物种,说明细胞体承担遮光作用。此前质体遮光的依据来自对其他甲藻的一般性讨论,不能据此证明本题回答“叶绿体”应该得分,复核后撤销疑点。
逐题审查结果
Refused:1 道题
- 122
C2存在题面未说明的评分要求
两个不同利润小计均符合题意,题面缺少区分条件,固定答案只接受其中一个。
Doubtful:1 道题
- 166
C1答案或评分逻辑错误
起始分隔阶段有文献口径差异;较新研究支持参考答案,尚未确认错误。
评测影响与后续更新
本次样本中,大多数题目未发现实质缺陷。
后续如有作者补充来源、判分解释或修复,我们将据此更新对应题目的结论。