新基准TAM揭示长程推理短板
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究团队发布Tasks over Application Manuals (TAM)基准，用于评估模型的长程程序推理能力。该基准基于ICD-10-CM临床编码和美国联邦量刑指南，要求模型遵循数万条规则并执行跨章节的依赖步骤。测试显示，即便使用检索增强生成和ReAct提示等通用方法，GPT-5在编码任务上的精确匹配率仅为1%，量刑任务为15.5%。数据与代码已公开。
为什么值得看
揭示现有模型在处理长文档复杂规则时的严重不足，挑战了当前对推理能力的评估标准。
GPT
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。