OpenAI Evals 評測功能怎麼用:後台停服時間表、四類評分器(Graders)機制與遷移方案

在 OpenAI 後台點開 Evals 發現無法新建評測?按官方棄用公告,託管版 Evals 控制檯與接口已於 2026-10-31 轉為只讀,並於 2026-11-30 停服。本文講清現狀、四類 Graders 評分器原理,以及如何按官方建議遷移到 Promptfoo。

NNathaniel bigo··原創首發·AI 輔助撰寫
9 分鐘讀完
資料核對於 2026-11-18 · 依據官方文檔與公開資料整理 其他 帳號

結論先說

  1. 先看重要狀態變化:按 OpenAI 官方棄用時間表,平台託管版 Evals 控制檯與 /v1/evals 接口已於 2026-10-31 轉為只讀(僅支持查看與導出歷史評測數據),並定於 2026-11-30 正式停服。
  2. 官方推薦的新去向是 Promptfoo:做提示詞與模型對比評測時,OpenAI 官方遷移文檔建議改用開源工具 Promptfoo 在本地或 CI 流水線裏維護測試集。
  3. Graders(評分器)概念並未作廢:OpenAI 定義的 string_check、text_similarity、label_model、score_model 四類評分器,目前仍是強化微調(RFT)打獎勵分的核心組件,設計思路也與主流評測框架完全相通。
  4. 手裏還有舊 Evals 數據的請抓緊導出:在 2026-11-30 徹底關停前,去只讀控制檯把歷史 JSONL 樣本和期望輸出備份下來,轉成 promptfooconfig.yaml 即可無縫接續。
  5. 國內免境外卡開通入口:若沒有境外銀行卡或遇到支付被拒,可在本站通過支付寶、微信支付或 AlipayHK 自助獲取兌換碼開通 ChatGPT Plus 或 ChatGPT Pro,團隊多席位支持聯絡客服定製 ChatGPT Business 團隊版。

評測工作流搭建與舊 Evals 遷移步驟

圖:本站根據 OpenAI 官方棄用公告 與《Graders》文檔整理的示意圖

本文根據 OpenAI 官方《Deprecations》《Graders》與《Evals》文檔整理,資料核對於 2026-11-18。配圖為本站整理的示意圖,不是介面截圖。本站(bigolab.com)不是 OpenAI 官方網站。

適用於誰

  • 打開 platform.openai.com 的 Evals 頁面想建測試集,卻發現新建和運行按鈕已不可用的開發者;
  • 需要系統對比兩版提示詞(Prompt)或兩個模型誰更準,不想每次靠肉眼挑幾條試跑的人;
  • 想搞懂 OpenAI 的評分器(Graders)怎麼寫,以便在強化微調或本地自動化評測裏複用的人。

一、為什麼託管版 Evals 建不了新任務

早期 OpenAI 在開發者後台提供了可視化的 Evals 面板和 /v1/evals 接口,允許上載測試集、綁定模板並在線出報表。但在 2026 年公佈的平台收斂計劃中,官方決定下線託管評測面板,讓開發者把評測用例放回自己的代碼倉庫和持續集成(CI)流程裏版本化管理。

兩個關鍵時間節點務必記清:

  • 2026-10-31 起:現有託管評測變為只讀(Read-only),不能再通過網頁後台或 /v1/evals 新建評測、修改規則或觸發新運行,但仍可查閱和下載存量記錄;
  • 2026-11-30 起:託管版 Evals 面板與對應 API 端點全面關閉。

順帶區分一個容易重名的項目:OpenAI 在 GitHub 上早年開源過名為 openai/evals 的基準評測倉庫,那是本地運行的命令行代碼庫;而官方在遷移指南里針對“日常應用改提示詞、對比多模型”首先推薦的替代工具是 Promptfoo(詳細安裝與基礎用法見 /guides/promptfoo-compare-prompts-models-eval)。

二、讀懂四類評分器(Graders)與替代寫法對照

不管用哪套工具做自動化評測,核心都是“測試數據集(Dataset)+ 評分器(Grader)”。OpenAI 官方《Graders》文檔將評分邏輯劃為四大類,即便託管面板下線,你在做強化微調或寫本地斷言時依然會直接用到它們:

OpenAI 四類評分器與遷移對照

圖:本站根據 OpenAI 官方文檔:Graders 與棄用遷移說明整理的示意圖

選型原則很直接:能用確定性規則(string_check、JSON 校驗、正則)判定的,絕不先上大模型當裁判,既省 API 預算又沒有隨機波動;只有評估語氣、摘要完整性這類沒有唯一字面答案的題目,才啟用 label_model 或 score_model。

如果你們團隊是非技術崗居多,平時只是想在共享空間裏協作測試幾版辦公提示詞、不需要搭命令行評測流水線,也可以考慮直接用團隊工作區手動對比;需要定製企業協作席位時可查看本站 ChatGPT Business 團隊版,或了解個人訂閱 ChatGPT Plus。

三、實戰替代方案:用 Promptfoo 跑 OpenAI 模型與提示詞對比

把原本打算在 OpenAI 後台建的評測遷到本地,只需要建一個 promptfooconfig.yaml。先確保本機配好了 OPENAI_API_KEY(獲取見 /guides/openai-api-key,接口結構見 /guides/openai-responses-api):

yaml
description: "售後工單分類與回覆提示詞對比評測"

prompts:
  - "你是客服助手。請判斷用戶意圖(僅輸出 退款/換貨/諮詢)並給出一句回覆:{{query}}"
  - "請嚴格按【分類:xxx】開頭回復以下售後問題,分類限 退款、換貨、諮詢 三選一:{{query}}"

providers:
  - openai:responses:gpt-4o-mini
  - openai:responses:gpt-4o

tests:
  - vars:
      query: "剛收到的鍵盤空格鍵卡住了,能給我重新發一把新的嗎?"
    assert:
      # 對應原 Evals 的 string_check(確定性包含檢查)
      - type: contains
        value: "換貨"
      # 對應原 Evals 的 label_model / score_model(模型裁判打分)
      - type: llm-rubric
        value: "回覆語氣禮貌,明確引導用戶提供訂單號或故障照片,且未承諾額外賠償"

在終端運行下面兩條命令即可批量執行並在瀏覽器打開並排對比矩陣:

bash
npx promptfoo@latest eval
npx promptfoo@latest view

如果除了離線跑測試集,你還想在線上運行階段追蹤每次大模型調用的耗時與中間工具鏈路,可以搭配可觀測工具一起看,具體見 /guides/arize-phoenix-llm-tracing-observability。

常見問題

問:後台 Evals 停服後,強化微調(RFT)裏的 Grader 還能正常用嗎?

能正常使用。停服的是獨立託管的 Evals 面板與 /v1/evals 接口;強化微調作業配置裏內嵌的 string_check、score_model、Python 代碼評分器等屬於微調訓練管線的一部分,不受這次面板下線影響。

問:做一次評測大概要準備多少條測試樣本才夠看?

起步不必追求幾千條。工程上先從真實線上報錯或邊界情況裏挑出 20 到 50 條高代表性樣本建成基準集,每次改完提示詞必跑一遍,就已經能攔住大部分“改好A問題卻把B問題改壞”的迴歸退化。

問:用模型給模型打分(score_model)怎麼減少打分飄忽不定?

盡量把連續打分拆成邊界清晰的二元或三檔分類(類似 label_model),在評分指令裏寫明具體的得分點與扣分項,並把裁判模型的溫度固定在低檔或預設確定性檔位。

問:國內沒有境外信用卡,怎麼開通或續費 ChatGPT Plus / Pro?

答:可在本站使用支付寶、微信支付或 AlipayHK 下單獲取卡密自助兌換(支持 ChatGPT Plus、Pro 5x 可覆蓋檔 與 Pro 5x 空白號檔),實時價格、兌換前提與售後規則(掉訂閱按剩餘天數折退,封號不在質保範圍)以對應頁面說明為準。

相關教學

參考資料

  • OpenAI 官方文檔:Deprecations(棄用時間表)— https://developers.openai.com/api/docs/deprecations
  • OpenAI 官方文檔:Graders(評分器說明)— https://developers.openai.com/api/docs/guides/graders
  • OpenAI 官方文檔:Working with evals — https://developers.openai.com/api/docs/guides/evals

Nathaniel 的更多內容

  1. 01

    獨立開發者用 ChatGPT + Codex 跑通產品全流程:市場驗證、PRD、原型到代碼上線覆盤清單

    單人做獨立產品最容易陷入「閉門寫兩個月代碼上線零用戶」或「AI 寫到一半目錄越改越崩」。本文整理「ChatGPT 負責市場驗證、PRD 與覆盤 + Codex 負責工程實現與測試」的五階段雙軌流程,附起手提示詞與 7 項上線覆盤清單。

    ChatGPTCodex0
  2. 02

    用 ChatGPT 批量生成規範文件命名規則、整理混亂目錄樹與合併零散發票抬頭清單腳本

    面對滿桌面的「新建文件夾」「最終版2」和上百張零散電子發票,手工改名抄台帳耗時又容易漏重。本文分享先脫敏取樣、再用 ChatGPT 生成帶預演和回滾日誌的本地 Python 腳本,離線安全完成目錄整理與發票抬頭合併去重的實戰流程。

    ChatGPT0
  3. 03

    用 ChatGPT 做海外電郵營銷(EDM)受眾分層文案、A/B 主題行測試與防進垃圾箱自檢

    做海外獨立站或出海 SaaS 電郵營銷(EDM),最怕千人一面群發被直接送進垃圾箱。本文結合 Gmail/Yahoo 批量發件人規範,梳理用 ChatGPT 設計受眾分層文案、批量生成 A/B 主題行矩陣並開展發前垃圾詞與合規自檢的實戰提示詞。

    ChatGPT0
  4. 04

    用 ChatGPT 寫 Notion Formula 2.0 公式、Obsidian Dataview 查詢與 Airtable 自動化腳本

    給 Notion 數據庫寫多條件 Formula 2.0 公式、給 Obsidian 寫 Dataview 動態看板,或在 Airtable 裏寫自動化腳本,經常因為一個小括號或類型不匹配報錯半天。本文整理三大工具的通用上下文喂料規範與三套直接可複製的生成提示詞。

    ChatGPT其他 AI 工具0
  5. 05

    用 ChatGPT 處理複雜 JSON / YAML / XML 字段映射、格式轉換與校驗規則編寫實戰

    對接第三方 API、遷移 Kubernetes 配置或解析政企 XML 報文時,手工對照幾百行嵌套字段既慢又容易漏掉空值與類型邊界。本文整理用 ChatGPT 完成字段映射表梳理、生成確定性轉換腳本以及編寫 JSON Schema / Pydantic / XSD 校驗規則的實戰流。

    ChatGPT其他 AI 工具0
  6. 06

    用 ChatGPT 準備本科/碩士畢業論文答辯:提煉答辯 PPT 結構、模擬導師犀利追問與 3 分鐘自述稿

    畢業論文寫完後,要在 3–5 分鐘內講清研究價值並頂住答辯評委的連環追問並不輕鬆。本文整理在嚴格遵守高校學術規範的前提下,用 ChatGPT 提煉答辯 PPT 結構、打磨 3 分鐘口語自述稿並開展模擬導師犀利追問的排練流程與提示詞。

    ChatGPT0

同產品的其他教學

  1. 01

    用 ChatGPT 整理家庭裝修預算明細、隱蔽工程驗收清單與主材優缺點對比表實戰

    第一次裝修面對幾十頁施工報價單、密密麻麻的水電防水隱蔽項目與五花八門的主材參數,極易踩坑增項。本文梳理用 ChatGPT 審查裝修報價漏項、生成帶公式的預算明細表、定製工地隱蔽工程驗收單與主材對比表的實戰提示詞。

    ChatGPT0
  2. 02

    用 ChatGPT 做費曼學習法讀書共讀:反向追問檢驗自己是否真讀懂專業書籍與整理書單筆記

    讀完一本專業硬書常感覺「合上書就忘」,直接讓 AI 概括全書又容易產生懂了的錯覺。本文介紹用 ChatGPT 結合 Study Mode 與費曼學習法做反向追問共讀,通過通俗複述、挑刺盲區到沉澱書單卡片的完整流程與提示詞。

    ChatGPT0
  3. 03

    用 ChatGPT 做外貿產品多語種目錄、展會邀約與客戶跟進節奏表(附脫敏與本地化提示詞)

    做外貿展會與海外推廣時,手工翻譯十幾款產品目錄費時且容易留下一堆中式英文,展後客戶跟進也常缺節奏。本文梳理用 ChatGPT 先脫敏建術語庫、再批量產出多語種目錄、展前邀約函與展後 21 天跟進節奏表的實戰流程與提示詞。

    ChatGPT0
  4. 04

    用 ChatGPT 寫高質素技術專欄文章、開源項目 Release Notes 與版本更新日誌實戰

    讓 AI 直接憑空寫技術文章容易滿篇空洞套話,直接甩 Git 記錄寫更新日誌又常常漏掉破壞性變更。本文整理用 ChatGPT 結合真實代碼片段、壓測數據與 PR 摘要,高效產出深度技術專欄、GitHub Release Notes 與 CHANGELOG 的實戰工作流。

    ChatGPT0
  5. 05

    用 ChatGPT 做產品用戶訪談紀要編碼、提煉高頻痛點需求池與 RICE 優先級打分實戰

    手頭攢了十幾份用戶訪談逐字稿,手工貼便利貼歸納痛點耗時又容易帶入主觀偏見。本文分享用 ChatGPT 完成脫敏檢查、逐份開放式編碼、跨樣本聚類高頻痛點並搭建 RICE 優先級打分表的 5 步實戰流,附可直接複製的三段核心提示詞。

    ChatGPT0
  6. 06

    ChatGPT 網頁版上載超過 10 個文件或回形針附件按鈕變灰怎麼辦:打包合併與配額限制排查

    在 ChatGPT 網頁版批量分析文檔時,常遇到一次選超 10 個文件被攔截或輸入框回形針按鈕變灰。本文依據 OpenAI 文件上載與存儲說明,梳理 6 類常見報錯的分流排查法,提供 ZIP 打包、本地合併與 Projects 複用方案及可直接複製的解包提示詞。

    ChatGPT0

0 條評論

登入 後參與評論

還沒有評論,來搶沙發~