OpenAI Evals 评测功能怎么用:后台停服时间表、四类评分器(Graders)机制与迁移方案

在 OpenAI 后台点开 Evals 发现无法新建评测?按官方弃用公告,托管版 Evals 控制台与接口已于 2026-10-31 转为只读,并于 2026-11-30 停服。本文讲清现状、四类 Graders 评分器原理,以及如何按官方建议迁移到 Promptfoo。

NNathaniel bigo··原创首发·AI 辅助撰写
9 分钟读完
资料核对于 2026-11-18 · 依据官方文档与公开资料整理 其他 账号

结论先说

  1. 先看重要状态变化:按 OpenAI 官方弃用时间表,平台托管版 Evals 控制台与 /v1/evals 接口已于 2026-10-31 转为只读(仅支持查看与导出历史评测数据),并定于 2026-11-30 正式停服。
  2. 官方推荐的新去向是 Promptfoo:做提示词与模型对比评测时,OpenAI 官方迁移文档建议改用开源工具 Promptfoo 在本地或 CI 流水线里维护测试集。
  3. Graders(评分器)概念并未作废:OpenAI 定义的 string_check、text_similarity、label_model、score_model 四类评分器,目前仍是强化微调(RFT)打奖励分的核心组件,设计思路也与主流评测框架完全相通。
  4. 手里还有旧 Evals 数据的请抓紧导出:在 2026-11-30 彻底关停前,去只读控制台把历史 JSONL 样本和期望输出备份下来,转成 promptfooconfig.yaml 即可无缝接续。
  5. 国内免境外卡开通入口:若没有境外银行卡或遇到支付被拒,可在本站通过支付宝、微信支付或 AlipayHK 自助获取兑换码开通 ChatGPT Plus 或 ChatGPT Pro,团队多席位支持联系客服定制 ChatGPT Business 团队版。

评测工作流搭建与旧 Evals 迁移步骤

图:本站根据 OpenAI 官方弃用公告 与《Graders》文档整理的示意图

本文根据 OpenAI 官方《Deprecations》《Graders》与《Evals》文档整理,资料核对于 2026-11-18。配图为本站整理的示意图,不是界面截图。本站(bigolab.com)不是 OpenAI 官方网站。

适用于谁

  • 打开 platform.openai.com 的 Evals 页面想建测试集,却发现新建和运行按钮已不可用的开发者;
  • 需要系统对比两版提示词(Prompt)或两个模型谁更准,不想每次靠肉眼挑几条试跑的人;
  • 想搞懂 OpenAI 的评分器(Graders)怎么写,以便在强化微调或本地自动化评测里复用的人。

一、为什么托管版 Evals 建不了新任务

早期 OpenAI 在开发者后台提供了可视化的 Evals 面板和 /v1/evals 接口,允许上传测试集、绑定模板并在线出报表。但在 2026 年公布的平台收敛计划中,官方决定下线托管评测面板,让开发者把评测用例放回自己的代码仓库和持续集成(CI)流程里版本化管理。

两个关键时间节点务必记清:

  • 2026-10-31 起:现有托管评测变为只读(Read-only),不能再通过网页后台或 /v1/evals 新建评测、修改规则或触发新运行,但仍可查阅和下载存量记录;
  • 2026-11-30 起:托管版 Evals 面板与对应 API 端点全面关闭。

顺带区分一个容易重名的项目:OpenAI 在 GitHub 上早年开源过名为 openai/evals 的基准评测仓库,那是本地运行的命令行代码库;而官方在迁移指南里针对“日常应用改提示词、对比多模型”首先推荐的替代工具是 Promptfoo(详细安装与基础用法见 /guides/promptfoo-compare-prompts-models-eval)。

二、读懂四类评分器(Graders)与替代写法对照

不管用哪套工具做自动化评测,核心都是“测试数据集(Dataset)+ 评分器(Grader)”。OpenAI 官方《Graders》文档将评分逻辑划为四大类,即便托管面板下线,你在做强化微调或写本地断言时依然会直接用到它们:

OpenAI 四类评分器与迁移对照

图:本站根据 OpenAI 官方文档:Graders 与弃用迁移说明整理的示意图

选型原则很直接:能用确定性规则(string_check、JSON 校验、正则)判定的,绝不先上大模型当裁判,既省 API 预算又没有随机波动;只有评估语气、摘要完整性这类没有唯一字面答案的题目,才启用 label_model 或 score_model。

如果你们团队是非技术岗居多,平时只是想在共享空间里协作测试几版办公提示词、不需要搭命令行评测流水线,也可以考虑直接用团队工作区手动对比;需要定制企业协作席位时可查看本站 ChatGPT Business 团队版,或了解个人订阅 ChatGPT Plus。

三、实战替代方案:用 Promptfoo 跑 OpenAI 模型与提示词对比

把原本打算在 OpenAI 后台建的评测迁到本地,只需要建一个 promptfooconfig.yaml。先确保本机配好了 OPENAI_API_KEY(获取见 /guides/openai-api-key,接口结构见 /guides/openai-responses-api):

yaml
description: "售后工单分类与回复提示词对比评测"

prompts:
  - "你是客服助手。请判断用户意图(仅输出 退款/换货/咨询)并给出一句回复:{{query}}"
  - "请严格按【分类:xxx】开头回复以下售后问题,分类限 退款、换货、咨询 三选一:{{query}}"

providers:
  - openai:responses:gpt-4o-mini
  - openai:responses:gpt-4o

tests:
  - vars:
      query: "刚收到的键盘空格键卡住了,能给我重新发一把新的吗?"
    assert:
      # 对应原 Evals 的 string_check(确定性包含检查)
      - type: contains
        value: "换货"
      # 对应原 Evals 的 label_model / score_model(模型裁判打分)
      - type: llm-rubric
        value: "回复语气礼貌,明确引导用户提供订单号或故障照片,且未承诺额外赔偿"

在终端运行下面两条命令即可批量执行并在浏览器打开并排对比矩阵:

bash
npx promptfoo@latest eval
npx promptfoo@latest view

如果除了离线跑测试集,你还想在线上运行阶段追踪每次大模型调用的耗时与中间工具链路,可以搭配可观测工具一起看,具体见 /guides/arize-phoenix-llm-tracing-observability。

常见问题

问:后台 Evals 停服后,强化微调(RFT)里的 Grader 还能正常用吗?

能正常使用。停服的是独立托管的 Evals 面板与 /v1/evals 接口;强化微调作业配置里内嵌的 string_check、score_model、Python 代码评分器等属于微调训练管线的一部分,不受这次面板下线影响。

问:做一次评测大概要准备多少条测试样本才够看?

起步不必追求几千条。工程上先从真实线上报错或边界情况里挑出 20 到 50 条高代表性样本建成基准集,每次改完提示词必跑一遍,就已经能拦住大部分“改好A问题却把B问题改坏”的回归退化。

问:用模型给模型打分(score_model)怎么减少打分飘忽不定?

尽量把连续打分拆成边界清晰的二元或三档分类(类似 label_model),在评分指令里写明具体的得分点与扣分项,并把裁判模型的温度固定在低档或默认确定性档位。

问:国内没有境外信用卡,怎么开通或续费 ChatGPT Plus / Pro?

答:可在本站使用支付宝、微信支付或 AlipayHK 下单获取卡密自助兑换(支持 ChatGPT Plus、Pro 5x 可覆盖档 与 Pro 5x 空白号档),实时价格、兑换前提与售后规则(掉订阅按剩余天数折退,封号不在质保范围)以对应页面说明为准。

相关教程

参考资料

  • OpenAI 官方文档:Deprecations(弃用时间表)— https://developers.openai.com/api/docs/deprecations
  • OpenAI 官方文档:Graders(评分器说明)— https://developers.openai.com/api/docs/guides/graders
  • OpenAI 官方文档:Working with evals — https://developers.openai.com/api/docs/guides/evals

Nathaniel 的更多内容

  1. 01

    独立开发者用 ChatGPT + Codex 跑通产品全流程:市场验证、PRD、原型到代码上线复盘清单

    单人做独立产品最容易陷入「闭门写两个月代码上线零用户」或「AI 写到一半目录越改越崩」。本文整理「ChatGPT 负责市场验证、PRD 与复盘 + Codex 负责工程实现与测试」的五阶段双轨流程,附起手提示词与 7 项上线复盘清单。

    ChatGPTCodex0
  2. 02

    用 ChatGPT 批量生成规范文件命名规则、整理混乱目录树与合并零散发票抬头清单脚本

    面对满桌面的「新建文件夹」「最终版2」和上百张零散电子发票,手工改名抄台账耗时又容易漏重。本文分享先脱敏取样、再用 ChatGPT 生成带预演和回滚日志的本地 Python 脚本,离线安全完成目录整理与发票抬头合并去重的实战流程。

    ChatGPT0
  3. 03

    用 ChatGPT 做海外邮件营销(EDM)受众分层文案、A/B 主题行测试与防进垃圾箱自检

    做海外独立站或出海 SaaS 邮件营销(EDM),最怕千人一面群发被直接送进垃圾箱。本文结合 Gmail/Yahoo 批量发件人规范,梳理用 ChatGPT 设计受众分层文案、批量生成 A/B 主题行矩阵并开展发前垃圾词与合规自检的实战提示词。

    ChatGPT0
  4. 04

    用 ChatGPT 写 Notion Formula 2.0 公式、Obsidian Dataview 查询与 Airtable 自动化脚本

    给 Notion 数据库写多条件 Formula 2.0 公式、给 Obsidian 写 Dataview 动态看板,或在 Airtable 里写自动化脚本,经常因为一个小括号或类型不匹配报错半天。本文整理三大工具的通用上下文喂料规范与三套直接可复制的生成提示词。

    ChatGPT其他 AI 工具0
  5. 05

    用 ChatGPT 处理复杂 JSON / YAML / XML 字段映射、格式转换与校验规则编写实战

    对接第三方 API、迁移 Kubernetes 配置或解析政企 XML 报文时,手工对照几百行嵌套字段既慢又容易漏掉空值与类型边界。本文整理用 ChatGPT 完成字段映射表梳理、生成确定性转换脚本以及编写 JSON Schema / Pydantic / XSD 校验规则的实战流。

    ChatGPT其他 AI 工具0
  6. 06

    用 ChatGPT 准备本科/硕士毕业论文答辩:提炼答辩 PPT 结构、模拟导师犀利追问与 3 分钟自述稿

    毕业论文写完后,要在 3–5 分钟内讲清研究价值并顶住答辩评委的连环追问并不轻松。本文整理在严格遵守高校学术规范的前提下,用 ChatGPT 提炼答辩 PPT 结构、打磨 3 分钟口语自述稿并开展模拟导师犀利追问的排练流程与提示词。

    ChatGPT0

同产品的其他教程

  1. 01

    用 ChatGPT 整理家庭装修预算明细、隐蔽工程验收清单与主材优缺点对比表实战

    第一次装修面对几十页施工报价单、密密麻麻的水电防水隐蔽项目与五花八门的主材参数,极易踩坑增项。本文梳理用 ChatGPT 审查装修报价漏项、生成带公式的预算明细表、定制工地隐蔽工程验收单与主材对比表的实战提示词。

    ChatGPT0
  2. 02

    用 ChatGPT 做费曼学习法读书共读:反向追问检验自己是否真读懂专业书籍与整理书单笔记

    读完一本专业硬书常感觉「合上书就忘」,直接让 AI 概括全书又容易产生懂了的错觉。本文介绍用 ChatGPT 结合 Study Mode 与费曼学习法做反向追问共读,通过通俗复述、挑刺盲区到沉淀书单卡片的完整流程与提示词。

    ChatGPT0
  3. 03

    用 ChatGPT 做外贸产品多语种目录、展会邀约与客户跟进节奏表(附脱敏与本地化提示词)

    做外贸展会与海外推广时,手工翻译十几款产品目录费时且容易留下一堆中式英文,展后客户跟进也常缺节奏。本文梳理用 ChatGPT 先脱敏建术语库、再批量产出多语种目录、展前邀约函与展后 21 天跟进节奏表的实战流程与提示词。

    ChatGPT0
  4. 04

    用 ChatGPT 写高质量技术专栏文章、开源项目 Release Notes 与版本更新日志实战

    让 AI 直接凭空写技术文章容易满篇空洞套话,直接甩 Git 记录写更新日志又常常漏掉破坏性变更。本文整理用 ChatGPT 结合真实代码片段、压测数据与 PR 摘要,高效产出深度技术专栏、GitHub Release Notes 与 CHANGELOG 的实战工作流。

    ChatGPT0
  5. 05

    用 ChatGPT 做产品用户访谈纪要编码、提炼高频痛点需求池与 RICE 优先级打分实战

    手头攒了十几份用户访谈逐字稿,手工贴便利贴归纳痛点耗时又容易带入主观偏见。本文分享用 ChatGPT 完成脱敏检查、逐份开放式编码、跨样本聚类高频痛点并搭建 RICE 优先级打分表的 5 步实战流,附可直接复制的三段核心提示词。

    ChatGPT0
  6. 06

    ChatGPT 网页版上传超过 10 个文件或回形针附件按钮变灰怎么办:打包合并与配额限制排查

    在 ChatGPT 网页版批量分析文档时,常遇到一次选超 10 个文件被拦截或输入框回形针按钮变灰。本文依据 OpenAI 文件上传与存储说明,梳理 6 类常见报错的分流排查法,提供 ZIP 打包、本地合并与 Projects 复用方案及可直接复制的解包提示词。

    ChatGPT0

0 条评论

登录 后参与评论

还没有评论,来抢沙发~