PatentAgentBench 发布：510 个实例评测 LLM 智能体专利…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准覆盖哪些专利任务
PatentAgentBench 由八个任务套件组成，共 510 个实例，分别是新颖性检索、自由实施（FTO）检索、设计 FTO、无效检索、权利要求对照表、专利撰写、审查意见答复和专利翻译。这些任务横跨技术、法律与语言三个层面，属于专利实务中的核心环节。与以往只覆盖少量专利任务、且直接提供参考资料或候选文档的做法不同，该基准把检索类任务设计成开放形式：智能体必须自己在专利集合中搜索并比对，没有现成的候选池可用。撰写与审查意见答复任务则给定技术披露书和审查通知，考察产出质量。
数据来源与评分方式
该基准的实例取自真实专利记录与专业材料，并非人工构造的简化题目。评分上采用两层设计：一层是任务专属的量化指标，另一层是专家复核后的标注与评分细则。这种组合让不同任务可以用各自合适的方式衡量，同时保留人工判断作为参照。对于检索类任务，重点在于智能体能否在无候选池条件下找到并正确比对相关专利；对于撰写和答复类任务，重点在于给定输入材料后产出内容的质量。
评测结果暴露的短板
研究团队在 PatentAgentBench 上评测了七个大模型，并让它们分别运行在四种智能体框架下，以观察模型能力与框架设计的共同影响。结论是当前系统在整个专利工作流中仍难以可靠完成关键判断：识别新颖性、评估风险以及理解从业者的真实意图这三方面都存在明显困难。这说明即便模型具备处理长文本和法律语言的能力，在需要自主检索、证据比对与专业意图对齐的专利场景中，距离稳定可用仍有差距。
为什么值得看
专利是智能体落地的高价值场景，该基准用真实任务与专家标注暴露了当前系统在检索与风险判断上的短板。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。