Annotrace 发布：面向 Agent 轨迹的逐步标注工作台
工具AI 评分 62/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
Annotrace 是一个用于对 LLM Agent 执行轨迹做步骤级标注的工作台。它可读取 OpenTelemetry GenAI、LangSmith、Langfuse 等六种轨迹格式，把每次运行拆成有序嵌套的步骤列表。标注者自行编写标注手册，前沿模型基于其轨迹样本提出初始标注集，并与人类回答同样的问题，形成人机联合标注流程。工具还能度量任意两位标注者（人或 AI）之间的一致性。在多智能体问答语料上，它精确复现了此前人工工作的 235 个标注单元；两个模型标注同一批轨迹的一致率为 91%，κ=0.82。论文共 4 页，投稿 AAAI 2027 Demonstration Program，仍在评审中。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
材料指出，研究 LLM Agent 为何失败时，通常要先人工标注轨迹，而每项研究往往各自搭建一次性工具。可观测性平台虽能记录轨迹，却不提供结构化标注；通用标注工具能标文本，却没有步骤、委派、工具调用这些概念，导致「最小可标注执行单元」缺乏共识。Annotrace 的定位正是填补这一空缺：把轨迹先整理成有序嵌套的步骤结构，再让标注围绕步骤展开。
标注流程与一致性
Annotrace 允许标注者编写自己的标注手册（codebook）；前沿模型会从标注者自己的轨迹样本中提出一套初始标注集，并且先作答，回答的问题与人类完全相同，从而把标注变成人机联合过程。工具还能量化任意两位标注者之间的一致性，无论双方是人还是 AI。在多智能体问答语料上的验证显示，它精确复现了此前人工工作的 235 个标注单元；两个模型标注同一批轨迹时一致率为 91%，κ=0.82。
适用范围与进展
该工作台面向需要分析 Agent 执行过程的开发者与研究者，输入侧兼容多种主流轨迹记录格式，输出侧是步骤级标注与一致性指标。论文篇幅为 4 页、4 图、1 表，投稿 AAAI 2027 Demonstration Program，目前处于评审阶段，材料未提及代码或工具的公开获取方式。
为什么值得看
Agent 失败研究长期缺少统一的步骤级标注工具，该工作台把人机联合标注与一致性度量做进同一流程，并给出可复现的量化结…
智能体论文
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。