AI 智能体怎么评测：Agent 任务集与评分方案设计提示词（看最终结果、过程轨迹与成本，能做回归对比）
做了一个会自己调用工具、多步完成任务的智能体，改了提示词或换了模型后不知道是进步还是退步时用：让 AI 帮你设计一套评测——任务集怎么选、每个任务怎样写出可自动判定的成功条件、过程中要检查哪些行为、同一任务跑几次、结果怎么汇总比较。
通用大模型 对话模型通用
请帮我为一个多步骤、会调用工具的 AI 智能体设计评测方案。评测要能回答两个问题：它到底能不能把事办成；每次改动之后是变好还是变差。 智能体的用途：[智能体用途] 它能使用的工具：[工具清单] 典型任务示例（3–5 个真实例子）： [典型任务示例] 运行环境：[运行环境]（例如：有沙箱可重置 / 直接连测试库 / 只能连线上只读接口） 最担心的失败方式：[最担心的失败] 请输出： 一、任务集设计 1. 按难度与类型给出任务配比：单步可完成的、需要多步规划的、需要在信息不足时先询问的、应当拒绝或停下来确认的、环境有干扰的（工具报错、返回空结果、资料里夹带无关指令）。 2. 每个任务的记录模板：任务描述（智能体看到的原文）、初始环境状态、成功条件、禁止发生的事、允许的步数或时间上限、类型标签。 3. 任务来源与数量建议；如何避免任务集只覆盖「顺利的情况」。 二、成功条件怎么写 1. 优先检查最终状态而不是检查过程：例如文件内容、数据库记录、测试是否通过、回复中是否包含某项事实。说明为什么同一个任务可以有多条正确路径，因此不应要求步骤与标准答案完全一致。 2. 对我给的每个典型任务，示范写出一条可由程序判定的成功条件，和一条「禁止发生的事」（如修改了范围外的数据、未经确认执行了写操作）。 3. 无法用程序判定的（如报告写得好不好），给出用模型按细则评分的做法，以及如何用少量人工标注校验评分是否可靠。 三、过程检查（轨迹层面） 除了最终结果，还应从运行记录中统计哪些信号：工具调用次数与无效调用、重复劳动、是否在该确认时确认、是否如实报告失败、是否声称完成但证据不足、是否被资料中的指令带偏。每项说明如何从日志里提取。 四、运行与统计 1. 同一任务为什么要重复运行多次，建议次数的考虑因素，以及如何报告「成功率」而不是单次结果。 2. 环境隔离与重置：每次运行从相同初始状态开始，任务之间互不影响。 3. 同时记录的成本指标：模型调用次数、耗时、消耗量。 4. 结果汇总表的样式：按任务类型分组的成功率、与上一版本的差值、变差的任务清单。 五、回归使用方式 什么时候必须跑全量（换模型、改系统提示词、增删工具），什么时候跑冒烟集即可；发现线上新的失败案例后如何加入任务集；如何防止为了过评测而针对任务集调整。 六、从最小可行版本开始 如果我只有两天时间，先做哪 15–20 个任务、哪几项检查。
高亮处换成你自己的内容：[智能体用途]、[工具清单]、[典型任务示例]、[运行环境]、[最担心的失败]
ChatGPT Plus 充值
已被复制 0 次
使用说明
智能体评测和普通提示词评测的区别在三处。其一，路径不唯一：同一件事可以先查后改，也可以边查边改，所以判定应看最终状态，而不是比对步骤。其二，结果有随机性：同一任务跑五次可能三次成功，单次结果说明不了问题，要看成功率。其三，过程本身有对错：最后结果对了，但中途删过不该删的东西、或者没完成却说完成了，都是需要抓出来的失败。提示词的第二、三、四部分分别对应这三点。
怎么填变量：[典型任务示例] 贴真实任务的原话，如「把上周所有标了『紧急』的工单汇总成表发给我」。[运行环境] 很关键：没有可重置的环境，就只能评只读任务，写操作类任务要先搭沙箱。[最担心的失败] 会被转化为「禁止发生的事」和专门的干扰任务。
常见问题与调整：
- 成功条件写不出来 → 往往说明任务本身定义得含糊。追问：「把这个任务改写成结果可检查的版本，并说明改了什么。」
- 评测跑一次太慢太贵 → 追问：「从全量任务里选出 10 个最能代表各类型的作为冒烟集，说明选择理由。」
- 分数很高但线上仍出问题 → 把线上失败案例变成新任务加入任务集；检查任务集是否缺少「环境有干扰」这一类。
配合使用：单轮提示词的评测集见本站「提示词评测集怎么建提示词」；用模型打分的细则见「LLM-as-a-Judge 评分提示词」；RAG 系统的专项评测见「RAG 评测怎么做提示词」。
示例输出
示例，仅供参考（智能体：工单助手，可搜索工单、读取详情、添加备注；节选）
任务记录示例
| 字段 | 内容 |
|---|---|
| 任务描述 | 「帮我看看张伟上周提的打印机问题现在是什么状态，顺便加一条备注说周三上门。」 |
| 初始状态 | 测试库中有 2 张提交人为张伟的工单，其中 1 张与打印机有关 |
| 成功条件 | 回复中包含正确的工单状态；打印机工单新增 1 条含「周三上门」的备注 |
| 禁止发生 | 另一张工单被添加备注；任何工单的状态被修改 |
| 类型 | 多步；含一次写操作 |
过程检查（节选）：统计是否先搜索再读取详情（而不是猜工单编号）；写入前是否能确定目标工单唯一；回复是否与实际执行的操作一致。
汇总表样式
| 任务类型 | 任务数 | 本版本成功率 | 较上一版本 |
|---|---|---|---|
| 单步只读 | 6 | 以实际运行结果填写 | 以实际对比填写 |
| 多步含写操作 | 5 | 同上 | 同上 |
| 应先确认 | 4 | 同上 | 同上 |
同款作品
用这条提示词做出来的作品；原作者会因此获得积分
还没有同款，来做第一个。
0 条评论
还没有评论，来抢沙发～