专题分析
SkillsBench 的 Skill 增益主要来自题面没有写出的评分规则
约 79% 的增益来自隐藏评分规则和现成的解题脚本。
当一个指标 成为目标, 它就不再是一个 好的指标。
拖动旋转;触屏纵向滑动可滚动页面。方向键旋转,Enter 或空格让环带收束,P 键暂停动画,Home 恢复初始视角。
将测试题改写后用于训练、迎合自动评分对冗长答案的偏好、测试多个版本却只公开最高分,都可能抬高榜单成绩,却未必代表真实能力的提升。
有缺陷的 Benchmark 会误导模型的发展方向,有缺陷的后训练数据会强化偏差、损害已有能力。
Benchmarks’ Last Exam 审视评测与训练数据本身,关注评测是否能够真实地反映出模型的能力,分数的提高是否对应真实能力的进步。
约 79% 的增益来自隐藏评分规则和现成的解题脚本。
局部任务上的高分,不能代表整个科学领域的能力。
评分规则、参考结论和评审方式,会影响 27.4% 这一最高分的含义。
113 道题:41 道 Accepted、15 道 Doubtful、57 道 Refused。
抽查 100 道任务,其中 20 道 Accepted、9 道 Doubtful、71 道 Refused。
抽查 100 道题,其中 98 道 Accepted、1 道 Doubtful、1 道 Refused。
抽查 100 道题,其中 87 道 Accepted、8 道 Doubtful、5 道 Refused。
66 道题:10 道 Accepted、6 道 Doubtful、50 道 Refused。
让通向 AGI 的每一步,都建立在真实、可验证的能力进步之上。