用 promptfoo 做 RAG 与智能体自动化回归测试:防幻觉评分断言与 GitHub CI 门禁

改了一句系统提示词或调了知识库切片大小,修好了眼前这道题却悄悄搞坏了另外五道题?本文作为 promptfoo 进阶篇,详解针对 RAG 检索系统的四大防幻觉断言(context-faithfulness 等)配置模板,以及接入 GitHub Actions 实现 PR 自动回归门禁的完整流水线。

NNathaniel bigo··原创首发·AI 辅助撰写
7 分钟读完
资料核对于 2026-11-19 · 依据官方文档与公开资料整理 其他 账号

在读完 promptfoo 基础安装与对比提示词入门教程 之后,把这套工具真正用进企业级知识库(如 RAGFlow 知识库)或智能体生产项目,最核心的价值不再是人工打开网页看哪段话写得顺眼,而是把它变成跟后端单元测试一模一样的自动化回归防线——每次有人提交代码改了提示词模板、换了切片长度或升级了底座模型,自动跑一遍黄金题库,只要幻觉率抬头就当场拦下合并请求(PR)。

AI 全栈开发订阅配套入口:在本地部署与联调开源 AI 框架时,搭配固定月费的终端编程智能体与旗舰推理订阅能大幅缩短排错时间。国内无境外信用卡可在本站通过支付宝、微信支付或 AlipayHK 免密自助开通 Claude Code 订阅、ChatGPT Plus / Pro 或查看 AI 会员充值总览。

用 promptfoo 给 RAG 搭 CI 门禁四步

一、给 RAG 知识库挑对尺子:四大核心断言组合拳

评测知识库问答不能只靠字符串包含匹配(icontains),因为大模型说话措辞每次都在变。在 promptfooconfig.yaml 里,官方提供了一套专门审计“检索—生成”全链路的内置断言(Assertions),把硬规则和模型裁判结合起来最稳当:

RAG 与智能体回归测试四大核心断言分工

二、实战 promptfooconfig.yaml:同时卡死“瞎编幻觉”与“拒答底线”

在你的知识库工程根目录新建一套专门测 RAG 质量的评测配置。注意看我们是怎么通过传入模拟检索片段 context,用 context-faithfulness(上下文忠实度) 一针见血抓出模型“脱离文档自己脑补数字”的:

yaml
description: "企业售后知识库防幻觉与拒答边界回归测试集"

prompts:
  - |
    你是公司官方售后客服助手。请【严格且仅依据】下方提供的知识库参考片段回答用户问题。
    如果参考片段中未包含答案所需事实,请明确回复“抱歉,现有说明文档暂未覆盖该问题,建议转接人工客服”,严禁自行推测或编造数字。

    <context>
    {{context}}
    </context>

    用户问题:{{question}}

providers:
  - id: openai:gpt-4o-mini
    config:
      temperature: 0

defaultTest:
  assert:
    # 全局底线:单次响应不得超过 8000 毫秒,且绝不允许出现感叹号与夸大绝对化用语
    - type: latency
      threshold: 8000
    - type: not-icontains
      value: "百分百包赔"

tests:
  # 用例 1:考核忠实提取与不篡改退换货时限
  - vars:
      question: "拆封后的蓝牙耳机支持几天无理由退货?需要扣折旧费吗?"
      context: "根据 2026 版售后总则第 3.2 条:音频类拆封商品支持签收后 7 天内无理由退货,外观完好配件齐全免收折旧费。"
    assert:
      - type: icontains
        value: "7"
      - type: context-faithfulness
        threshold: 0.9

  # 用例 2:考核知识库没写时的诚实拒答能力(防幻觉重灾区)
  - vars:
      question: "你们在慕尼黑线下直营维修点的营业时间是几点?"
      context: "目前官方线下直营服务中心仅设于上海与深圳两地,工作时间为每日 10:00-19:00。"
    assert:
      - type: llm-rubric
        value: "回答必须明确指出文档未包含慕尼黑网点或仅在上海深圳设有网点,严禁编造任何德国营业时间。"

在终端跑一句 npx promptfoo eval 再敲 npx promptfoo view,哪道题因为多嘴脑补被 context-faithfulness 判了红叉、扣分理由是什么,在矩阵表格里清清楚楚。你还可以直接写一个小型 Python 脚本或 HTTP Provider 指向你真实跑着的后端 /api/rag/query 接口,连同真实向量召回环节一起做端到端联测。

研发团队订阅与高配额省心方案:调试复杂多步智能体循环、RAG 切片策略与 CI 评测流水线非常消耗单日 Token。个人主力开发推荐免上号兑换 Claude Pro iOS 自助卡密 或 5 倍额度的 Claude Max 5x,多人研发团队协同亦可联系客服定制 ChatGPT Business 团队版。

三、接入 GitHub Actions:每次改提示词提 PR 自动跑门禁

就像我们在仓库里配置 自动化安全扫描 CI 门禁 一样,把这几十道核心考题挂进 .github/workflows/prompt-eval.yml,只要 prompts/ 目录或检索配置发生变动就自动触发检验:

yaml
name: RAG Prompt Regression Gate

on:
  pull_request:
    paths:
      - "prompts/**"
      - "src/rag/**"
      - "promptfooconfig.yaml"

jobs:
  evaluate:
    runs-on: ubuntu-latest
    permissions:
      contents: read
      pull-requests: write
    steps:
      - uses: actions/checkout@v4

      - name: Run promptfoo evaluation with CI cache
        uses: promptfoo/promptfoo-action@v1
        with:
          openai-api-key: ${{ secrets.OPENAI_API_KEY }}
          config: promptfooconfig.yaml
          cache-path: ~/.cache/promptfoo
          # 关键门禁开关:一旦有任何一条黄金用例断言失败,立即将 CI 标红拦截合并
        env:
          PROMPTFOO_ASSERTIONS_MAX_CONCURRENCY: 4

控制 CI 评测账单不心疼的两个实战窍门

很多团队不敢在每次 PR 时跑模型评测,是怕一天提十次代码把 API 费刷高。做好这两步,单次流水线成本连一杯水钱都不到:

  1. 务必挂载评测缓存目录(cache-path):配合 GitHub Actions 的 actions/cache,如果本次 PR 只改了第 2 个提示词模板,未发生输入变动的历史用例会瞬间命中本地哈希缓存直接复用上次结果,零重复计费。
  2. 分层维护“冒烟快筛集”与“周末全量集”:平时每次提 PR 只跑精心挑选的 25–30 道最高频致命红线题(耗时不到 40 秒);几百道长尾边缘案例放到每周日凌晨定时触发的 Nightly Workflow 里全量巡检。

在日常迭代优化业务提示词、扩充评测红队题库与编写自动化评测流水线时,搭配高额度的旗舰大模型订阅做交叉出题与诊断事半功倍。需要开通海外正规开发与主力对话订阅的同学,可前往查看贝果研究社 Claude Code 订阅与配置方案或 ChatGPT Plus 自助充值专页。

常见问题

用大模型给大模型打分(llm-rubric / context-faithfulness),如果裁判模型自己判歪了怎么办?

工程上通行的做法有三条:第一,把裁判模型的 temperature 严格锁死为 0 消除随机抖动;第二,裁判模型尽量固定选用逻辑严密的高一档稳定模型,不要被测模型和裁判模型同时换来换去失去基准线;第三,评分标准(Rubric)不要写模糊的“回答语气好不好”,而是拆成非黑即白的客观核查项(如“必须提到退货需保留原包装盒,且不得承诺报销顺丰保价费”)。

题库刚开始应该从哪儿收集,没上线前怎么凑齐 30 道好题?

切忌拍脑袋自己编三十句“你好请问你们是做什么的”这种毫无区分度的简单题。最扎实的题源分三块:50% 来自历史人工客服真实聊天记录里最常被追问的细节题、30% 专门针对文档里带前置限定条件(“除定制款外……”、“满三年以上……”)的陷阱题,剩下 20% 专门塞文档里根本没有的超纲问题考验它会不会老实拒答。

搭好开源框架后,国内没有外币信用卡怎么开通主力编程与大模型订阅?

可在 本站 AI 会员充值中心 使用支付宝、微信支付或 AlipayHK 自助选购卡密,支持免交密码兑换 Claude Code(Pro / Max)、ChatGPT Plus 与 ChatGPT Pro,并支持开具增值税发票;实时价格与售后边界(封号不在质保范围)以对应商品页说明为准。

小结

  1. 给 RAG 系统做回归测试不能只验关键词,务必组合 context-faithfulness(严防脱离原文瞎编)与 llm-rubric(严守超纲诚实拒答)。
  2. 将高价值错题沉淀进受版本管控的 promptfooconfig.yaml,告别改完提示词靠肉眼试三条就敢上线的盲人摸象模式。
  3. 接入 GitHub Actions 门禁并开启评测结果缓存、拆分“PR 30 题快筛集”与“夜间全量集”,用极低成本守住线上回答质量底线。

Nathaniel 的更多内容

  1. 01

    独立开发者用 ChatGPT + Codex 跑通产品全流程:市场验证、PRD、原型到代码上线复盘清单

    单人做独立产品最容易陷入「闭门写两个月代码上线零用户」或「AI 写到一半目录越改越崩」。本文整理「ChatGPT 负责市场验证、PRD 与复盘 + Codex 负责工程实现与测试」的五阶段双轨流程,附起手提示词与 7 项上线复盘清单。

    ChatGPTCodex0
  2. 02

    用 ChatGPT 批量生成规范文件命名规则、整理混乱目录树与合并零散发票抬头清单脚本

    面对满桌面的「新建文件夹」「最终版2」和上百张零散电子发票,手工改名抄台账耗时又容易漏重。本文分享先脱敏取样、再用 ChatGPT 生成带预演和回滚日志的本地 Python 脚本,离线安全完成目录整理与发票抬头合并去重的实战流程。

    ChatGPT0
  3. 03

    用 ChatGPT 做海外邮件营销(EDM)受众分层文案、A/B 主题行测试与防进垃圾箱自检

    做海外独立站或出海 SaaS 邮件营销(EDM),最怕千人一面群发被直接送进垃圾箱。本文结合 Gmail/Yahoo 批量发件人规范,梳理用 ChatGPT 设计受众分层文案、批量生成 A/B 主题行矩阵并开展发前垃圾词与合规自检的实战提示词。

    ChatGPT0
  4. 04

    用 ChatGPT 写 Notion Formula 2.0 公式、Obsidian Dataview 查询与 Airtable 自动化脚本

    给 Notion 数据库写多条件 Formula 2.0 公式、给 Obsidian 写 Dataview 动态看板,或在 Airtable 里写自动化脚本,经常因为一个小括号或类型不匹配报错半天。本文整理三大工具的通用上下文喂料规范与三套直接可复制的生成提示词。

    ChatGPT其他 AI 工具0
  5. 05

    用 ChatGPT 处理复杂 JSON / YAML / XML 字段映射、格式转换与校验规则编写实战

    对接第三方 API、迁移 Kubernetes 配置或解析政企 XML 报文时,手工对照几百行嵌套字段既慢又容易漏掉空值与类型边界。本文整理用 ChatGPT 完成字段映射表梳理、生成确定性转换脚本以及编写 JSON Schema / Pydantic / XSD 校验规则的实战流。

    ChatGPT其他 AI 工具0
  6. 06

    用 ChatGPT 准备本科/硕士毕业论文答辩:提炼答辩 PPT 结构、模拟导师犀利追问与 3 分钟自述稿

    毕业论文写完后,要在 3–5 分钟内讲清研究价值并顶住答辩评委的连环追问并不轻松。本文整理在严格遵守高校学术规范的前提下,用 ChatGPT 提炼答辩 PPT 结构、打磨 3 分钟口语自述稿并开展模拟导师犀利追问的排练流程与提示词。

    ChatGPT0

同产品的其他教程

  1. 01

    用 ChatGPT 整理家庭装修预算明细、隐蔽工程验收清单与主材优缺点对比表实战

    第一次装修面对几十页施工报价单、密密麻麻的水电防水隐蔽项目与五花八门的主材参数,极易踩坑增项。本文梳理用 ChatGPT 审查装修报价漏项、生成带公式的预算明细表、定制工地隐蔽工程验收单与主材对比表的实战提示词。

    ChatGPT0
  2. 02

    用 ChatGPT 做费曼学习法读书共读:反向追问检验自己是否真读懂专业书籍与整理书单笔记

    读完一本专业硬书常感觉「合上书就忘」,直接让 AI 概括全书又容易产生懂了的错觉。本文介绍用 ChatGPT 结合 Study Mode 与费曼学习法做反向追问共读,通过通俗复述、挑刺盲区到沉淀书单卡片的完整流程与提示词。

    ChatGPT0
  3. 03

    用 ChatGPT 做外贸产品多语种目录、展会邀约与客户跟进节奏表(附脱敏与本地化提示词)

    做外贸展会与海外推广时,手工翻译十几款产品目录费时且容易留下一堆中式英文,展后客户跟进也常缺节奏。本文梳理用 ChatGPT 先脱敏建术语库、再批量产出多语种目录、展前邀约函与展后 21 天跟进节奏表的实战流程与提示词。

    ChatGPT0
  4. 04

    用 ChatGPT 写高质量技术专栏文章、开源项目 Release Notes 与版本更新日志实战

    让 AI 直接凭空写技术文章容易满篇空洞套话,直接甩 Git 记录写更新日志又常常漏掉破坏性变更。本文整理用 ChatGPT 结合真实代码片段、压测数据与 PR 摘要,高效产出深度技术专栏、GitHub Release Notes 与 CHANGELOG 的实战工作流。

    ChatGPT0
  5. 05

    用 ChatGPT 做产品用户访谈纪要编码、提炼高频痛点需求池与 RICE 优先级打分实战

    手头攒了十几份用户访谈逐字稿,手工贴便利贴归纳痛点耗时又容易带入主观偏见。本文分享用 ChatGPT 完成脱敏检查、逐份开放式编码、跨样本聚类高频痛点并搭建 RICE 优先级打分表的 5 步实战流,附可直接复制的三段核心提示词。

    ChatGPT0
  6. 06

    ChatGPT 网页版上传超过 10 个文件或回形针附件按钮变灰怎么办:打包合并与配额限制排查

    在 ChatGPT 网页版批量分析文档时,常遇到一次选超 10 个文件被拦截或输入框回形针按钮变灰。本文依据 OpenAI 文件上传与存储说明,梳理 6 类常见报错的分流排查法,提供 ZIP 打包、本地合并与 Projects 复用方案及可直接复制的解包提示词。

    ChatGPT0

0 条评论

登录 后参与评论

还没有评论,来抢沙发~