Benchmarks’ Last Exam

当一个指标 成为目标, 它就不再是一个 好的指标。

将测试题改写后用于训练、迎合自动评分对冗长答案的偏好、测试多个版本却只公开最高分,都可能抬高榜单成绩,却未必代表真实能力的提升。

有缺陷的 Benchmark 会误导模型的发展方向,有缺陷的后训练数据会强化偏差、损害已有能力。

Benchmarks’ Last Exam 审视评测与训练数据本身,关注评测是否能够真实地反映出模型的能力,分数的提高是否对应真实能力的进步。

Benchmarks’ Last Exam

全部报告

让通向 AGI 的每一步,都建立在真实、可验证的能力进步之上。