新基准TAM揭示长程推理短板
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载TAM 基准的构造方式
这份研究把评测对象从短链条问答挪到了手册执行上，构建了名为 Tasks over Application Manuals 的基准，简称 TAM。任务来源限定在两个真实领域：一是 ICD-10-CM 临床编码，需要把医疗状况对应到诊断代码；二是美国联邦量刑，需要算出量刑指南下的罪行等级结果。所有任务的答案标签都经过人工校验，不是模型生成或自动抽取的。每道题都要求模型依据一份权威手册作答，而这些手册包含数万条规则，解题过程要在不同章节之间来回切换，执行一串彼此依赖的步骤，最后给出一个精确答案。这种设计与常见的多跳推理题不同：后者往往只需少量检索或推断步骤，而 TAM 把步骤数量和规则体量都放大了，考的是能否在长流程中不丢条件、不漏分支。
评测方法与得分表现
研究者在 GPT-5 上比较了几类通用做法，包括检索增强生成、ReAct 风格的提示方式，以及一种 agent harness 基线。结果显示，即便取其中表现最好的配置，精确匹配率依然很低：ICD-10-CM 编码任务上只有 1%，量刑任务上是 15.5%。这里的精确匹配意味着最终答案必须与人工校验的标签完全一致，任何中间步骤的偏差都会让整题判错。两个领域的差距本身也值得注意，量刑任务的得分明显高于编码任务，说明任务结构、规则组织方式会直接影响模型能否走完整个流程。研究者由此提出，现有基准可能高估了模型的推理能力，因为它们没有覆盖“可靠地遵循冗长且基于规则的流程”这一关键挑战。
与短链条基准的差别
常见的多跳推理评测通常只要求模型做少量检索或推断，题目长度和规则复杂度都有限，因此得分容易显得乐观。TAM 把评测条件换成数百页级别的手册和数万条规则，模型必须自己定位相关条款、判断条款之间的依赖关系，并按顺序执行。这种做法把“能不能答对一道题”变成“能不能在长流程中保持正确”，暴露的是流程执行层面的短板，而不是单点知识或单步推理的短板。对读者而言，这意味着在参考模型推理能力时，需要区分短链条任务上的表现与真实手册执行场景下的表现，两者不能直接互换。研究同时公开了完整的数据与代码，便于复现和在此基础上扩展。
适用范围与使用限制
TAM 目前只覆盖临床编码与联邦量刑两个领域，任务形式是给定手册和具体情形，要求输出精确答案，因此它衡量的是封闭答案下的流程遵循能力，不涉及开放式生成或多轮交互中的表现。评测对象是通用提示方法在 GPT-5 上的运行结果，换用其他模型或其他提示策略时数值可能不同。由于答案要求完全匹配，部分正确但最终一步出错的解答不会被计入，这会让分数偏低，但也正符合该基准想考察的“端到端可靠执行”。使用这套基准时，应把它看作对手册类长流程任务的一次压力测试，而不是对模型整体能力的全面评价。
为什么值得看
揭示现有模型在处理长文档复杂规则时的严重不足，挑战了当前对推理能力的评估标准。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。