结论先说
- 别拿微调当知识库用:官方明确指出,想让模型掌握高频更新的公司资料,应走检索增强(RAG),微调并不擅长精准塞入新事实。
- 微调真正划算的三个场景:固化难以靠几句指令描述的文风与私有格式、把旗舰大模型的优质输出“蒸馏”给便宜快速的小模型、攻克垂直领域的复杂逻辑推理。
- 三种路线分工明确:有标准答案示范对用 SFT(监督微调);能对比“哪句回答更优”用 DPO(偏好优化);让推理模型在试错加评分中提分用 RFT(强化微调)。
- 数据贵精不贵多:训练集一律用每行一个独立 JSON 对象的
.jsonl文件;SFT 语法底线是 10 条,官方建议先打磨 50 到 100 条高水准样本起步。 - 账单分两笔算:训练阶段按训练 token 与轮数收费,产出的专属模型(
ft:...)上线推理时按微调档位单独计费。 - 国内免境外卡开通入口:若没有境外银行卡或遇到支付被拒,可在本站通过支付宝、微信支付或 AlipayHK 自助获取兑换码开通 ChatGPT Plus 或 ChatGPT Pro,团队多席位支持联系客服定制 ChatGPT Business 团队版。

图:本站根据 OpenAI 官方文档:Model optimization 整理的示意图
本文根据 OpenAI 官方文档《Model optimization》《Supervised fine-tuning》《Reinforcement fine-tuning》与《Direct preference optimization》整理,资料核对于 2026-11-18。配图为本站整理的示意图,不是界面截图。本站(bigolab.com)不是 OpenAI 官方网站。
适用于谁
- 提示词越写越长,想把模型调成固定业务风格,或用小模型跑出大模型效果以降本提速的开发者;
- 分不清监督微调(SFT)、直接偏好优化(DPO)和强化微调(RFT)各自解决什么问题的工程师;
- 第一次准备
.jsonl训练集,不知道每行 JSON 该怎么组织的人。
一、动手训练前先排除两个常见误区
花时间洗数据之前,先核对诉求能不能用零训练成本的原生功能直接搞定:
- 误区一:为了输出合法 JSON 去微调。直接开结构化输出(见 /guides/openai-api-structured-outputs),靠
json_schema就能在解码层锁死字段格式,无需跑训练。 - 误区二:为了背诵内部手册去微调。把文档切块建向量库(见 /guides/openai-api-embeddings)既能随时更新,还能返回原文引用;靠微调硬记文档不仅贵,还容易张冠李戴。
只有当你确认改提示词和加检索都碰到了瓶颈,或者线上并发极大、必须把超长示例压缩进小模型来省输入 token 与延迟时,再进入微调环节。若你只是个人办公想让助手记住写作口吻和参考资料,直接在网页端用项目(Projects)或自定义指令即可;需要升级订阅可查看本站 ChatGPT Plus,注意网页会员与 API 微调分属两套独立计费系统。
二、SFT、DPO 与强化微调(RFT)有什么区别

图:本站根据 OpenAI 官方文档:Model optimization 整理的示意图
在实际选型时,可以按手里能拿出什么样的数据来对号入座:
- 首选 SFT(监督微调):绝大多数业务微调都从这里起步。只要你能整理出一批“遇到什么输入、理想答案该怎么写”的成对样本,就能拿来做模型蒸馏——先用昂贵的旗舰模型跑出几百条经人工审核的高分结果,再拿去微调轻量小模型,往往能以更低延迟和几分之一的推理单价跑出接近的效果。
- 进阶用 DPO(直接偏好优化):如果任务偏主观(例如客服安抚话术、品牌文案),很难写出唯一标准答案,但人工很容易挑出“A 回复比 B 回复更得体”,就适合用 DPO。官方推荐先做一轮 SFT 打底,再叠一轮 DPO 修整细节。
- 复杂推理看 RFT(强化微调):当你面对法律条文适用、医疗编码、复杂代码修复等高难度推理题,SFT 死记硬背表面格式却学不会深层逻辑时,RFT 允许推理模型自己生成多条解题路径,由你配置的评分器(Grader)自动判分反馈,靠奖励信号把领域推理准确率推上去。
本站订阅与团队开通提示:如果你在国内遇到银行卡被拒或急需提升对话与推理配额,可前往本站 ChatGPT Plus 充值说明页 或 ChatGPT Pro 5x/20x 充值页 自助获取卡密完成开通(全程无需交出账号密码,可开增值税发票);企业多成员协作可直接查看 ChatGPT Business 团队定制方案。
三、训练数据的 .jsonl 标准格式与提交代码
训练文件后缀必须是 .jsonl,整个文件外层不要加方括号 [],每一行单独写一个无换行的 JSON 对象。
1. SFT 与 DPO 单行格式对照
SFT 每行是一个 messages 对话列表,system 提示词要与线上实际调用保持一致:
json
{"messages": [{"role": "system", "content": "你是工单提取器,仅输出故障部件与诉求"}, {"role": "user", "content": "耳机左耳没声了,请换新"}, {"role": "assistant", "content": "部件:左耳单元;诉求:换货"}]}
DPO 则在一条 input 后同时给出 preferred_output(更优回答)和 non_preferred_output(较差回答);官方建议先跑一轮 SFT 再接 DPO 微调语气。至于面向推理模型的 RFT,每行提供题目与参考标准字段,并在作业配置里绑定评分器(Grader)给模型生成的推理结果打 0 到 1 的奖励分。
2. 用 Python 上传并启动 SFT 作业
配好密钥(见 /guides/openai-api-key)后,上传文件时 purpose 固定填 "fine-tune":
python
from openai import OpenAI
client = OpenAI()
train_file = client.files.create(
file=open("sft_train_data.jsonl", "rb"),
purpose="fine-tune",
)
job = client.fine_tuning.jobs.create(
training_file=train_file.id,
model="gpt-4o-mini-2024-07-18",
)
print("作业 ID:", job.id, "状态:", job.status)
提交后可在后台 Dashboard → Fine-tuning 观察损失曲线。状态变为 succeeded 后会生成 ft: 开头的专属模型 ID,直接填进业务代码的 model 参数即可调用,单价请提前核对 /guides/openai-api-price-official-table。
常见问题
问:微调产出的专属模型会被别人看到或调用吗?
不会。ft: 模型归属于你所在的组织与项目(Project),只有拥有该项目权限的密钥能调用,也可随时在后台删除。
问:训练完反而比原来更笨是怎么回事?
常见于脏数据混入、训练轮数(n_epochs)过大导致小样本过拟合,或线上调用漏传了训练时的 system 提示词。建议留出 10% 到 20% 样本作为 validation_file 监控过拟合。
问:强化微调(RFT)提示没有权限怎么办?
部分推理基座与 RFT 功能要求达到指定用量层级或先完成后台组织身份验证(Organization Verification),请按控制台提示核对资格。
问:国内没有境外信用卡,怎么开通或续费 ChatGPT Plus / Pro?
答:可在本站使用支付宝、微信支付或 AlipayHK 下单获取卡密自助兑换(支持 ChatGPT Plus、Pro 5x 可覆盖档 与 Pro 5x 空白号档),实时价格、兑换前提与售后规则(掉订阅按剩余天数折退,封号不在质保范围)以对应页面说明为准。
相关教程
- OpenAI API 结构化输出(Structured Outputs)怎么写
- OpenAI Embeddings 向量怎么用
- OpenAI API 价格表与计费说明
- OpenAI API Key 怎么获取
参考资料
- OpenAI 官方文档:Model optimization — https://developers.openai.com/api/docs/guides/model-optimization
- OpenAI 官方文档:Supervised fine-tuning — https://developers.openai.com/api/docs/guides/supervised-fine-tuning
- OpenAI 官方文档:Reinforcement fine-tuning — https://developers.openai.com/api/docs/guides/reinforcement-fine-tuning
- OpenAI 官方文档:Direct preference optimization — https://developers.openai.com/api/docs/guides/direct-preference-optimization
0 条评论
还没有评论,来抢沙发~