EnigmaForge基准测试：隐藏问题重排大模型排行榜
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载题目藏在旧文档里
EnigmaForge 的做法与多数评测不同：它不把问题直接交给模型，而是给出一叠旧文件，问题本身并不出现。信件、收据和航海日志的边角处埋着一道小型逻辑谜题，其答案唯一。这种唯一性在生成阶段就由 SAT 求解器完成证明，并附有一份消融证书，用来表明每一条线索都承担着必要作用，去掉任何一条都会破坏可解性。由于题目是生成而非收集而来，语料可以持续更新，不会因反复使用而耗尽。评测的核心指标被命名为直觉，即在只拿到故事、没有明确提问的情况下完成任务的成功率；重建世界则是次要维度。这一设计把考察重点从检索与推理转向模型能否自行意识到需要解决什么。
六百道题与三种条件
实验让二十五个前沿模型在六百多道实例上运行，共产生一万七千四百条计分记录，全部在三种相互匹配的条件下完成。结果显示，直觉这一指标会重新排列榜单：不同模型之间的差距达到二十二倍，而事实恢复能力的差距只有一点六倍。事实恢复排名第二的模型，在直觉榜上落到第十四位。还有一个模型在被明确告知问题后表现没有变化，另一个模型在不被告知问题时反而明显更好。这说明擅长从文本中抽取事实，并不等于擅长发现隐藏的任务。适用范围上，该基准衡量的是模型在无提问情境下的自主性，而非传统问答准确率。
过滤器也会影响得分
材料还提到一个容易被忽略的细节：若干模型在接触到谜题之前就被自身的内容过滤机制拦下。如果某个基准把拒答直接计为失败，那么它实际上在悄悄测量过滤行为，而不是解题能力。对读者而言，这意味着榜单上的低分未必反映推理水平，也可能来自安全策略的触发。EnigmaForge 把直觉设为主指标、世界重建设为次指标，并公开消融证书，正是为了让线索的必要性和题目的唯一性可被检验。其局限在于，题目由生成器产出，风格与真实历史档案仍有距离；同时它只覆盖逻辑谜题这一类任务，不能外推到所有需要自主发现问题的场景。
为什么值得看
揭示大模型在无明确提问时的自主推理差距，并暴露内容过滤机制对模型评测结果的隐蔽干扰。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。