AI 智能體怎麼評測：Agent 任務集與評分方案設計提示詞（看最終結果、過程軌跡與成本，能做迴歸對比）
做了一個會自己調用工具、多步完成任務的智能體，改了提示詞或換了模型後不知道是進步還是退步時用：讓 AI 幫你設計一套評測——任務集怎麼選、每個任務怎樣寫出可自動判定的成功條件、過程中要檢查哪些行為、同一任務跑幾次、結果怎麼彙總比較。
通用大模型 對話模型通用
請幫我為一個多步驟、會調用工具的 AI 智能體設計評測方案。評測要能回答兩個問題：它到底能不能把事辦成；每次改動之後是變好還是變差。 智能體的用途：[智能體用途] 它能使用的工具：[工具清單] 典型任務示例（3–5 個真實例子）： [典型任務示例] 運行環境：[運行環境]（例如：有沙箱可重置 / 直接連測試庫 / 只能連線上只讀接口） 最擔心的失敗方式：[最擔心的失敗] 請輸出： 一、任務集設計 1. 按難度與類型給出任務配比：單步可完成的、需要多步規劃的、需要在資訊不足時先詢問的、應當拒絕或停下來確認的、環境有干擾的（工具報錯、返回空結果、資料裏夾帶無關指令）。 2. 每個任務的記錄模板：任務描述（智能體看到的原文）、初始環境狀態、成功條件、禁止發生的事、允許的步數或時間上限、類型標籤。 3. 任務來源與數量建議；如何避免任務集只覆蓋「順利的情況」。 二、成功條件怎麼寫 1. 優先檢查最終狀態而不是檢查過程：例如文件內容、數據庫記錄、測試是否通過、回覆中是否包含某項事實。說明為什麼同一個任務可以有多條正確路徑，因此不應要求步驟與標準答案完全一致。 2. 對我給的每個典型任務，示範寫出一條可由程序判定的成功條件，和一條「禁止發生的事」（如修改了範圍外的數據、未經確認執行了寫操作）。 3. 無法用程序判定的（如報告寫得好不好），給出用模型按細則評分的做法，以及如何用少量人工標註校驗評分是否可靠。 三、過程檢查（軌跡層面） 除了最終結果，還應從運行記錄中統計哪些信號：工具調用次數與無效調用、重複勞動、是否在該確認時確認、是否如實報告失敗、是否聲稱完成但證據不足、是否被資料中的指令帶偏。每項說明如何從日誌裏提取。 四、運行與統計 1. 同一任務為什麼要重複運行多次，建議次數的考慮因素，以及如何報告「成功率」而不是單次結果。 2. 環境隔離與重置：每次運行從相同初始狀態開始，任務之間互不影響。 3. 同時記錄的成本指標：模型調用次數、耗時、消耗量。 4. 結果彙總表的樣式：按任務類型分組的成功率、與上一版本的差值、變差的任務清單。 五、迴歸使用方式 什麼時候必須跑全量（換模型、改系統提示詞、增刪工具），什麼時候跑冒煙集即可；發現線上新的失敗案例後如何加入任務集；如何防止為了過評測而針對任務集調整。 六、從最小可行版本開始 如果我只有兩天時間，先做哪 15–20 個任務、哪幾項檢查。
高亮處換成你自己的內容：[智能體用途]、[工具清單]、[典型任務示例]、[運行環境]、[最擔心的失敗]
ChatGPT Plus 充值
已被複製 0 次
使用說明
智能體評測和普通提示詞評測的區別在三處。其一，路徑不唯一：同一件事可以先查後改，也可以邊查邊改，所以判定應看最終狀態，而不是比對步驟。其二，結果有隨機性：同一任務跑五次可能三次成功，單次結果說明不了問題，要看成功率。其三，過程本身有對錯：最後結果對了，但中途刪過不該刪的東西、或者沒完成卻說完成了，都是需要抓出來的失敗。提示詞的第二、三、四部分分別對應這三點。
怎麼填變量：[典型任務示例] 貼真實任務的原話，如「把上週所有標了『緊急』的工單彙總成表發給我」。[運行環境] 很關鍵：沒有可重置的環境，就只能評只讀任務，寫操作類任務要先搭沙箱。[最擔心的失敗] 會被轉化為「禁止發生的事」和專門的干擾任務。
常見問題與調整：
- 成功條件寫不出來 → 往往說明任務本身定義得含糊。追問：「把這個任務改寫成結果可檢查的版本，並說明改了什麼。」
- 評測跑一次太慢太貴 → 追問：「從全量任務裏選出 10 個最能代表各類型的作為冒煙集，說明選擇理由。」
- 分數很高但線上仍出問題 → 把線上失敗案例變成新任務加入任務集；檢查任務集是否缺少「環境有干擾」這一類。
配合使用：單輪提示詞的評測集見本站「提示詞評測集怎麼建提示詞」；用模型打分的細則見「LLM-as-a-Judge 評分提示詞」；RAG 系統的專項評測見「RAG 評測怎麼做提示詞」。
示例輸出
示例，僅供參考（智能體：工單助手，可搜尋工單、讀取詳情、添加備註；節選）
任務記錄示例
| 字段 | 內容 |
|---|---|
| 任務描述 | 「幫我看看張偉上週提的打印機問題現在是什麼狀態，順便加一條備註說週三上門。」 |
| 初始狀態 | 測試庫中有 2 張提交人為張偉的工單，其中 1 張與打印機有關 |
| 成功條件 | 回覆中包含正確的工單狀態；打印機工單新增 1 條含「週三上門」的備註 |
| 禁止發生 | 另一張工單被添加備註；任何工單的狀態被修改 |
| 類型 | 多步；含一次寫操作 |
過程檢查（節選）：統計是否先搜尋再讀取詳情（而不是猜工單編號）；寫入前是否能確定目標工單唯一；回覆是否與實際執行的操作一致。
彙總表樣式
| 任務類型 | 任務數 | 本版本成功率 | 較上一版本 |
|---|---|---|---|
| 單步只讀 | 6 | 以實際運行結果填寫 | 以實際對比填寫 |
| 多步含寫操作 | 5 | 同上 | 同上 |
| 應先確認 | 4 | 同上 | 同上 |
同款作品
用這條提示詞做出來的作品；原作者會因此獲得積分
還沒有同款，來做第一個。
0 條評論
還沒有評論，來搶沙發～