OpenAI 模型微调(Fine-tuning)入门:什么时候该微调、SFT 与强化微调(RFT)的区别与数据格式

改提示词总是达不到预期,该不该上微调?本文按 OpenAI 官方模型优化文档,讲清什么时候不该微调、监督微调(SFT)、偏好优化(DPO)与强化微调(RFT)的适用差异、.jsonl 训练数据格式与最小启动步骤。

NNathaniel bigo··原创首发·AI 辅助撰写
11 分钟读完
资料核对于 2026-11-18 · 依据官方文档与公开资料整理 其他 账号

结论先说

  1. 别拿微调当知识库用:官方明确指出,想让模型掌握高频更新的公司资料,应走检索增强(RAG),微调并不擅长精准塞入新事实。
  2. 微调真正划算的三个场景:固化难以靠几句指令描述的文风与私有格式、把旗舰大模型的优质输出“蒸馏”给便宜快速的小模型、攻克垂直领域的复杂逻辑推理。
  3. 三种路线分工明确:有标准答案示范对用 SFT(监督微调);能对比“哪句回答更优”用 DPO(偏好优化);让推理模型在试错加评分中提分用 RFT(强化微调)。
  4. 数据贵精不贵多:训练集一律用每行一个独立 JSON 对象的 .jsonl 文件;SFT 语法底线是 10 条,官方建议先打磨 50 到 100 条高水准样本起步。
  5. 账单分两笔算:训练阶段按训练 token 与轮数收费,产出的专属模型(ft:...)上线推理时按微调档位单独计费。
  6. 国内免境外卡开通入口:若没有境外银行卡或遇到支付被拒,可在本站通过支付宝、微信支付或 AlipayHK 自助获取兑换码开通 ChatGPT Plus 或 ChatGPT Pro,团队多席位支持联系客服定制 ChatGPT Business 团队版。

你的问题到底该不该上微调

图:本站根据 OpenAI 官方文档:Model optimization 整理的示意图

本文根据 OpenAI 官方文档《Model optimization》《Supervised fine-tuning》《Reinforcement fine-tuning》与《Direct preference optimization》整理,资料核对于 2026-11-18。配图为本站整理的示意图,不是界面截图。本站(bigolab.com)不是 OpenAI 官方网站。

适用于谁

  • 提示词越写越长,想把模型调成固定业务风格,或用小模型跑出大模型效果以降本提速的开发者;
  • 分不清监督微调(SFT)、直接偏好优化(DPO)和强化微调(RFT)各自解决什么问题的工程师;
  • 第一次准备 .jsonl 训练集,不知道每行 JSON 该怎么组织的人。

一、动手训练前先排除两个常见误区

花时间洗数据之前,先核对诉求能不能用零训练成本的原生功能直接搞定:

  • 误区一:为了输出合法 JSON 去微调。直接开结构化输出(见 /guides/openai-api-structured-outputs),靠 json_schema 就能在解码层锁死字段格式,无需跑训练。
  • 误区二:为了背诵内部手册去微调。把文档切块建向量库(见 /guides/openai-api-embeddings)既能随时更新,还能返回原文引用;靠微调硬记文档不仅贵,还容易张冠李戴。

只有当你确认改提示词和加检索都碰到了瓶颈,或者线上并发极大、必须把超长示例压缩进小模型来省输入 token 与延迟时,再进入微调环节。若你只是个人办公想让助手记住写作口吻和参考资料,直接在网页端用项目(Projects)或自定义指令即可;需要升级订阅可查看本站 ChatGPT Plus,注意网页会员与 API 微调分属两套独立计费系统。

二、SFT、DPO 与强化微调(RFT)有什么区别

SFT、DPO 与强化微调 RFT 对比

图:本站根据 OpenAI 官方文档:Model optimization 整理的示意图

在实际选型时,可以按手里能拿出什么样的数据来对号入座:

  1. 首选 SFT(监督微调):绝大多数业务微调都从这里起步。只要你能整理出一批“遇到什么输入、理想答案该怎么写”的成对样本,就能拿来做模型蒸馏——先用昂贵的旗舰模型跑出几百条经人工审核的高分结果,再拿去微调轻量小模型,往往能以更低延迟和几分之一的推理单价跑出接近的效果。
  2. 进阶用 DPO(直接偏好优化):如果任务偏主观(例如客服安抚话术、品牌文案),很难写出唯一标准答案,但人工很容易挑出“A 回复比 B 回复更得体”,就适合用 DPO。官方推荐先做一轮 SFT 打底,再叠一轮 DPO 修整细节。
  3. 复杂推理看 RFT(强化微调):当你面对法律条文适用、医疗编码、复杂代码修复等高难度推理题,SFT 死记硬背表面格式却学不会深层逻辑时,RFT 允许推理模型自己生成多条解题路径,由你配置的评分器(Grader)自动判分反馈,靠奖励信号把领域推理准确率推上去。
本站订阅与团队开通提示:如果你在国内遇到银行卡被拒或急需提升对话与推理配额,可前往本站 ChatGPT Plus 充值说明页 或 ChatGPT Pro 5x/20x 充值页 自助获取卡密完成开通(全程无需交出账号密码,可开增值税发票);企业多成员协作可直接查看 ChatGPT Business 团队定制方案。

三、训练数据的 .jsonl 标准格式与提交代码

训练文件后缀必须是 .jsonl,整个文件外层不要加方括号 [],每一行单独写一个无换行的 JSON 对象。

1. SFT 与 DPO 单行格式对照

SFT 每行是一个 messages 对话列表,system 提示词要与线上实际调用保持一致:

json
{"messages": [{"role": "system", "content": "你是工单提取器,仅输出故障部件与诉求"}, {"role": "user", "content": "耳机左耳没声了,请换新"}, {"role": "assistant", "content": "部件:左耳单元;诉求:换货"}]}

DPO 则在一条 input 后同时给出 preferred_output(更优回答)和 non_preferred_output(较差回答);官方建议先跑一轮 SFT 再接 DPO 微调语气。至于面向推理模型的 RFT,每行提供题目与参考标准字段,并在作业配置里绑定评分器(Grader)给模型生成的推理结果打 0 到 1 的奖励分。

2. 用 Python 上传并启动 SFT 作业

配好密钥(见 /guides/openai-api-key)后,上传文件时 purpose 固定填 "fine-tune":

python
from openai import OpenAI

client = OpenAI()

train_file = client.files.create(
    file=open("sft_train_data.jsonl", "rb"),
    purpose="fine-tune",
)

job = client.fine_tuning.jobs.create(
    training_file=train_file.id,
    model="gpt-4o-mini-2024-07-18",
)
print("作业 ID:", job.id, "状态:", job.status)

提交后可在后台 Dashboard → Fine-tuning 观察损失曲线。状态变为 succeeded 后会生成 ft: 开头的专属模型 ID,直接填进业务代码的 model 参数即可调用,单价请提前核对 /guides/openai-api-price-official-table。

常见问题

问:微调产出的专属模型会被别人看到或调用吗?

不会。ft: 模型归属于你所在的组织与项目(Project),只有拥有该项目权限的密钥能调用,也可随时在后台删除。

问:训练完反而比原来更笨是怎么回事?

常见于脏数据混入、训练轮数(n_epochs)过大导致小样本过拟合,或线上调用漏传了训练时的 system 提示词。建议留出 10% 到 20% 样本作为 validation_file 监控过拟合。

问:强化微调(RFT)提示没有权限怎么办?

部分推理基座与 RFT 功能要求达到指定用量层级或先完成后台组织身份验证(Organization Verification),请按控制台提示核对资格。

问:国内没有境外信用卡,怎么开通或续费 ChatGPT Plus / Pro?

答:可在本站使用支付宝、微信支付或 AlipayHK 下单获取卡密自助兑换(支持 ChatGPT Plus、Pro 5x 可覆盖档 与 Pro 5x 空白号档),实时价格、兑换前提与售后规则(掉订阅按剩余天数折退,封号不在质保范围)以对应页面说明为准。

相关教程

参考资料

  • OpenAI 官方文档:Model optimization — https://developers.openai.com/api/docs/guides/model-optimization
  • OpenAI 官方文档:Supervised fine-tuning — https://developers.openai.com/api/docs/guides/supervised-fine-tuning
  • OpenAI 官方文档:Reinforcement fine-tuning — https://developers.openai.com/api/docs/guides/reinforcement-fine-tuning
  • OpenAI 官方文档:Direct preference optimization — https://developers.openai.com/api/docs/guides/direct-preference-optimization

Nathaniel 的更多内容

  1. 01

    独立开发者用 ChatGPT + Codex 跑通产品全流程:市场验证、PRD、原型到代码上线复盘清单

    单人做独立产品最容易陷入「闭门写两个月代码上线零用户」或「AI 写到一半目录越改越崩」。本文整理「ChatGPT 负责市场验证、PRD 与复盘 + Codex 负责工程实现与测试」的五阶段双轨流程,附起手提示词与 7 项上线复盘清单。

    ChatGPTCodex0
  2. 02

    用 ChatGPT 批量生成规范文件命名规则、整理混乱目录树与合并零散发票抬头清单脚本

    面对满桌面的「新建文件夹」「最终版2」和上百张零散电子发票,手工改名抄台账耗时又容易漏重。本文分享先脱敏取样、再用 ChatGPT 生成带预演和回滚日志的本地 Python 脚本,离线安全完成目录整理与发票抬头合并去重的实战流程。

    ChatGPT0
  3. 03

    用 ChatGPT 做海外邮件营销(EDM)受众分层文案、A/B 主题行测试与防进垃圾箱自检

    做海外独立站或出海 SaaS 邮件营销(EDM),最怕千人一面群发被直接送进垃圾箱。本文结合 Gmail/Yahoo 批量发件人规范,梳理用 ChatGPT 设计受众分层文案、批量生成 A/B 主题行矩阵并开展发前垃圾词与合规自检的实战提示词。

    ChatGPT0
  4. 04

    用 ChatGPT 写 Notion Formula 2.0 公式、Obsidian Dataview 查询与 Airtable 自动化脚本

    给 Notion 数据库写多条件 Formula 2.0 公式、给 Obsidian 写 Dataview 动态看板,或在 Airtable 里写自动化脚本,经常因为一个小括号或类型不匹配报错半天。本文整理三大工具的通用上下文喂料规范与三套直接可复制的生成提示词。

    ChatGPT其他 AI 工具0
  5. 05

    用 ChatGPT 处理复杂 JSON / YAML / XML 字段映射、格式转换与校验规则编写实战

    对接第三方 API、迁移 Kubernetes 配置或解析政企 XML 报文时,手工对照几百行嵌套字段既慢又容易漏掉空值与类型边界。本文整理用 ChatGPT 完成字段映射表梳理、生成确定性转换脚本以及编写 JSON Schema / Pydantic / XSD 校验规则的实战流。

    ChatGPT其他 AI 工具0
  6. 06

    用 ChatGPT 准备本科/硕士毕业论文答辩:提炼答辩 PPT 结构、模拟导师犀利追问与 3 分钟自述稿

    毕业论文写完后,要在 3–5 分钟内讲清研究价值并顶住答辩评委的连环追问并不轻松。本文整理在严格遵守高校学术规范的前提下,用 ChatGPT 提炼答辩 PPT 结构、打磨 3 分钟口语自述稿并开展模拟导师犀利追问的排练流程与提示词。

    ChatGPT0

同产品的其他教程

  1. 01

    用 ChatGPT 整理家庭装修预算明细、隐蔽工程验收清单与主材优缺点对比表实战

    第一次装修面对几十页施工报价单、密密麻麻的水电防水隐蔽项目与五花八门的主材参数,极易踩坑增项。本文梳理用 ChatGPT 审查装修报价漏项、生成带公式的预算明细表、定制工地隐蔽工程验收单与主材对比表的实战提示词。

    ChatGPT0
  2. 02

    用 ChatGPT 做费曼学习法读书共读:反向追问检验自己是否真读懂专业书籍与整理书单笔记

    读完一本专业硬书常感觉「合上书就忘」,直接让 AI 概括全书又容易产生懂了的错觉。本文介绍用 ChatGPT 结合 Study Mode 与费曼学习法做反向追问共读,通过通俗复述、挑刺盲区到沉淀书单卡片的完整流程与提示词。

    ChatGPT0
  3. 03

    用 ChatGPT 做外贸产品多语种目录、展会邀约与客户跟进节奏表(附脱敏与本地化提示词)

    做外贸展会与海外推广时,手工翻译十几款产品目录费时且容易留下一堆中式英文,展后客户跟进也常缺节奏。本文梳理用 ChatGPT 先脱敏建术语库、再批量产出多语种目录、展前邀约函与展后 21 天跟进节奏表的实战流程与提示词。

    ChatGPT0
  4. 04

    用 ChatGPT 写高质量技术专栏文章、开源项目 Release Notes 与版本更新日志实战

    让 AI 直接凭空写技术文章容易满篇空洞套话,直接甩 Git 记录写更新日志又常常漏掉破坏性变更。本文整理用 ChatGPT 结合真实代码片段、压测数据与 PR 摘要,高效产出深度技术专栏、GitHub Release Notes 与 CHANGELOG 的实战工作流。

    ChatGPT0
  5. 05

    用 ChatGPT 做产品用户访谈纪要编码、提炼高频痛点需求池与 RICE 优先级打分实战

    手头攒了十几份用户访谈逐字稿,手工贴便利贴归纳痛点耗时又容易带入主观偏见。本文分享用 ChatGPT 完成脱敏检查、逐份开放式编码、跨样本聚类高频痛点并搭建 RICE 优先级打分表的 5 步实战流,附可直接复制的三段核心提示词。

    ChatGPT0
  6. 06

    ChatGPT 网页版上传超过 10 个文件或回形针附件按钮变灰怎么办:打包合并与配额限制排查

    在 ChatGPT 网页版批量分析文档时,常遇到一次选超 10 个文件被拦截或输入框回形针按钮变灰。本文依据 OpenAI 文件上传与存储说明,梳理 6 类常见报错的分流排查法,提供 ZIP 打包、本地合并与 Projects 复用方案及可直接复制的解包提示词。

    ChatGPT0

0 条评论

登录 后参与评论

还没有评论,来抢沙发~