OpenAI 模型微調(Fine-tuning)入門:什麼時候該微調、SFT 與強化微調(RFT)的區別與數據格式

改提示詞總是達不到預期,該不該上微調?本文按 OpenAI 官方模型優化文檔,講清什麼時候不該微調、監督微調(SFT)、偏好優化(DPO)與強化微調(RFT)的適用差異、.jsonl 訓練數據格式與最小啟動步驟。

NNathaniel bigo··原創首發·AI 輔助撰寫
11 分鐘讀完
資料核對於 2026-11-18 · 依據官方文檔與公開資料整理 其他 帳號

結論先說

  1. 別拿微調當知識庫用:官方明確指出,想讓模型掌握高頻更新的公司資料,應走檢索增強(RAG),微調並不擅長精準塞入新事實。
  2. 微調真正划算的三個場景:固化難以靠幾句指令描述的文風與私有格式、把旗艦大模型的優質輸出“蒸餾”給便宜快速的小模型、攻克垂直領域的複雜邏輯推理。
  3. 三種路線分工明確:有標準答案示範對用 SFT(監督微調);能對比“哪句回答更優”用 DPO(偏好優化);讓推理模型在試錯加評分中提分用 RFT(強化微調)。
  4. 數據貴精不貴多:訓練集一律用每行一個獨立 JSON 對象的 .jsonl 文件;SFT 語法底線是 10 條,官方建議先打磨 50 到 100 條高水準樣本起步。
  5. 帳單分兩筆算:訓練階段按訓練 token 與輪數收費,產出的專屬模型(ft:...)上線推理時按微調檔位單獨計費。
  6. 國內免境外卡開通入口:若沒有境外銀行卡或遇到支付被拒,可在本站通過支付寶、微信支付或 AlipayHK 自助獲取兌換碼開通 ChatGPT Plus 或 ChatGPT Pro,團隊多席位支持聯絡客服定製 ChatGPT Business 團隊版。

你的問題到底該不該上微調

圖:本站根據 OpenAI 官方文檔:Model optimization 整理的示意圖

本文根據 OpenAI 官方文檔《Model optimization》《Supervised fine-tuning》《Reinforcement fine-tuning》與《Direct preference optimization》整理,資料核對於 2026-11-18。配圖為本站整理的示意圖,不是介面截圖。本站(bigolab.com)不是 OpenAI 官方網站。

適用於誰

  • 提示詞越寫越長,想把模型調成固定業務風格,或用小模型跑出大模型效果以降本提速的開發者;
  • 分不清監督微調(SFT)、直接偏好優化(DPO)和強化微調(RFT)各自解決什麼問題的工程師;
  • 第一次準備 .jsonl 訓練集,不知道每行 JSON 該怎麼組織的人。

一、動手訓練前先排除兩個常見誤區

花時間洗數據之前,先核對訴求能不能用零訓練成本的原生功能直接搞定:

  • 誤區一:為了輸出合法 JSON 去微調。直接開結構化輸出(見 /guides/openai-api-structured-outputs),靠 json_schema 就能在解碼層鎖死字段格式,無需跑訓練。
  • 誤區二:為了背誦內部手冊去微調。把文檔切塊建向量庫(見 /guides/openai-api-embeddings)既能隨時更新,還能返回原文引用;靠微調硬記文檔不僅貴,還容易張冠李戴。

只有當你確認改提示詞和加檢索都碰到了瓶頸,或者線上並發極大、必須把超長示例壓縮進小模型來省輸入 token 與延遲時,再進入微調環節。若你只是個人辦公想讓助手記住寫作口吻和參考資料,直接在網頁端用項目(Projects)或自定義指令即可;需要升級訂閱可查看本站 ChatGPT Plus,注意網頁會員與 API 微調分屬兩套獨立計費系統。

二、SFT、DPO 與強化微調(RFT)有什麼區別

SFT、DPO 與強化微調 RFT 對比

圖:本站根據 OpenAI 官方文檔:Model optimization 整理的示意圖

在實際選型時,可以按手裏能拿出什麼樣的數據來對號入座:

  1. 首選 SFT(監督微調):絕大多數業務微調都從這裏起步。只要你能整理出一批“遇到什麼輸入、理想答案該怎麼寫”的成對樣本,就能拿來做模型蒸餾——先用昂貴的旗艦模型跑出幾百條經人工審核的高分結果,再拿去微調輕量小模型,往往能以更低延遲和幾分之一的推理單價跑出接近的效果。
  2. 進階用 DPO(直接偏好優化):如果任務偏主觀(例如客服安撫話術、品牌文案),很難寫出唯一標準答案,但人工很容易挑出“A 回覆比 B 回覆更得體”,就適合用 DPO。官方推薦先做一輪 SFT 打底,再疊一輪 DPO 修整細節。
  3. 複雜推理看 RFT(強化微調):當你面對法律條文適用、醫療編碼、複雜代碼修復等高難度推理題,SFT 死記硬背表面格式卻學不會深層邏輯時,RFT 允許推理模型自己生成多條解題路徑,由你配置的評分器(Grader)自動判分反饋,靠獎勵信號把領域推理準確率推上去。
本站訂閱與團隊開通提示:如果你在國內遇到銀行卡被拒或急需提升對話與推理配額,可前往本站 ChatGPT Plus 充值說明頁 或 ChatGPT Pro 5x/20x 充值頁 自助獲取卡密完成開通(全程無需交出帳號密碼,可開增值稅發票);企業多成員協作可直接查看 ChatGPT Business 團隊定製方案。

三、訓練數據的 .jsonl 標準格式與提交代碼

訓練文件後綴必須是 .jsonl,整個文件外層不要加方括號 [],每一行單獨寫一個無換行的 JSON 對象。

1. SFT 與 DPO 單行格式對照

SFT 每行是一個 messages 對話列表,system 提示詞要與線上實際調用保持一致:

json
{"messages": [{"role": "system", "content": "你是工單提取器,僅輸出故障部件與訴求"}, {"role": "user", "content": "耳機左耳沒聲了,請換新"}, {"role": "assistant", "content": "部件:左耳單元;訴求:換貨"}]}

DPO 則在一條 input 後同時給出 preferred_output(更優回答)和 non_preferred_output(較差回答);官方建議先跑一輪 SFT 再接 DPO 微調語氣。至於面向推理模型的 RFT,每行提供題目與參考標準字段,並在作業配置裏綁定評分器(Grader)給模型生成的推理結果打 0 到 1 的獎勵分。

2. 用 Python 上載並啟動 SFT 作業

配好密鑰(見 /guides/openai-api-key)後,上載文件時 purpose 固定填 "fine-tune":

python
from openai import OpenAI

client = OpenAI()

train_file = client.files.create(
    file=open("sft_train_data.jsonl", "rb"),
    purpose="fine-tune",
)

job = client.fine_tuning.jobs.create(
    training_file=train_file.id,
    model="gpt-4o-mini-2024-07-18",
)
print("作業 ID:", job.id, "狀態:", job.status)

提交後可在後台 Dashboard → Fine-tuning 觀察損失曲線。狀態變為 succeeded 後會生成 ft: 開頭的專屬模型 ID,直接填進業務代碼的 model 參數即可調用,單價請提前核對 /guides/openai-api-price-official-table。

常見問題

問:微調產出的專屬模型會被別人看到或調用嗎?

不會。ft: 模型歸屬於你所在的組織與項目(Project),只有擁有該項目權限的密鑰能調用,也可隨時在後台刪除。

問:訓練完反而比原來更笨是怎麼回事?

常見於髒數據混入、訓練輪數(n_epochs)過大導致小樣本過擬合,或線上調用漏傳了訓練時的 system 提示詞。建議留出 10% 到 20% 樣本作為 validation_file 監控過擬合。

問:強化微調(RFT)提示沒有權限怎麼辦?

部分推理基座與 RFT 功能要求達到指定用量層級或先完成後台組織身份驗證(Organization Verification),請按控制檯提示核對資格。

問:國內沒有境外信用卡,怎麼開通或續費 ChatGPT Plus / Pro?

答:可在本站使用支付寶、微信支付或 AlipayHK 下單獲取卡密自助兌換(支持 ChatGPT Plus、Pro 5x 可覆蓋檔 與 Pro 5x 空白號檔),實時價格、兌換前提與售後規則(掉訂閱按剩餘天數折退,封號不在質保範圍)以對應頁面說明為準。

相關教學

參考資料

  • OpenAI 官方文檔:Model optimization — https://developers.openai.com/api/docs/guides/model-optimization
  • OpenAI 官方文檔:Supervised fine-tuning — https://developers.openai.com/api/docs/guides/supervised-fine-tuning
  • OpenAI 官方文檔:Reinforcement fine-tuning — https://developers.openai.com/api/docs/guides/reinforcement-fine-tuning
  • OpenAI 官方文檔:Direct preference optimization — https://developers.openai.com/api/docs/guides/direct-preference-optimization

Nathaniel 的更多內容

  1. 01

    獨立開發者用 ChatGPT + Codex 跑通產品全流程:市場驗證、PRD、原型到代碼上線覆盤清單

    單人做獨立產品最容易陷入「閉門寫兩個月代碼上線零用戶」或「AI 寫到一半目錄越改越崩」。本文整理「ChatGPT 負責市場驗證、PRD 與覆盤 + Codex 負責工程實現與測試」的五階段雙軌流程,附起手提示詞與 7 項上線覆盤清單。

    ChatGPTCodex0
  2. 02

    用 ChatGPT 批量生成規範文件命名規則、整理混亂目錄樹與合併零散發票抬頭清單腳本

    面對滿桌面的「新建文件夾」「最終版2」和上百張零散電子發票,手工改名抄台帳耗時又容易漏重。本文分享先脫敏取樣、再用 ChatGPT 生成帶預演和回滾日誌的本地 Python 腳本,離線安全完成目錄整理與發票抬頭合併去重的實戰流程。

    ChatGPT0
  3. 03

    用 ChatGPT 做海外電郵營銷(EDM)受眾分層文案、A/B 主題行測試與防進垃圾箱自檢

    做海外獨立站或出海 SaaS 電郵營銷(EDM),最怕千人一面群發被直接送進垃圾箱。本文結合 Gmail/Yahoo 批量發件人規範,梳理用 ChatGPT 設計受眾分層文案、批量生成 A/B 主題行矩陣並開展發前垃圾詞與合規自檢的實戰提示詞。

    ChatGPT0
  4. 04

    用 ChatGPT 寫 Notion Formula 2.0 公式、Obsidian Dataview 查詢與 Airtable 自動化腳本

    給 Notion 數據庫寫多條件 Formula 2.0 公式、給 Obsidian 寫 Dataview 動態看板,或在 Airtable 裏寫自動化腳本,經常因為一個小括號或類型不匹配報錯半天。本文整理三大工具的通用上下文喂料規範與三套直接可複製的生成提示詞。

    ChatGPT其他 AI 工具0
  5. 05

    用 ChatGPT 處理複雜 JSON / YAML / XML 字段映射、格式轉換與校驗規則編寫實戰

    對接第三方 API、遷移 Kubernetes 配置或解析政企 XML 報文時,手工對照幾百行嵌套字段既慢又容易漏掉空值與類型邊界。本文整理用 ChatGPT 完成字段映射表梳理、生成確定性轉換腳本以及編寫 JSON Schema / Pydantic / XSD 校驗規則的實戰流。

    ChatGPT其他 AI 工具0
  6. 06

    用 ChatGPT 準備本科/碩士畢業論文答辯:提煉答辯 PPT 結構、模擬導師犀利追問與 3 分鐘自述稿

    畢業論文寫完後,要在 3–5 分鐘內講清研究價值並頂住答辯評委的連環追問並不輕鬆。本文整理在嚴格遵守高校學術規範的前提下,用 ChatGPT 提煉答辯 PPT 結構、打磨 3 分鐘口語自述稿並開展模擬導師犀利追問的排練流程與提示詞。

    ChatGPT0

同產品的其他教學

  1. 01

    用 ChatGPT 整理家庭裝修預算明細、隱蔽工程驗收清單與主材優缺點對比表實戰

    第一次裝修面對幾十頁施工報價單、密密麻麻的水電防水隱蔽項目與五花八門的主材參數,極易踩坑增項。本文梳理用 ChatGPT 審查裝修報價漏項、生成帶公式的預算明細表、定製工地隱蔽工程驗收單與主材對比表的實戰提示詞。

    ChatGPT0
  2. 02

    用 ChatGPT 做費曼學習法讀書共讀:反向追問檢驗自己是否真讀懂專業書籍與整理書單筆記

    讀完一本專業硬書常感覺「合上書就忘」,直接讓 AI 概括全書又容易產生懂了的錯覺。本文介紹用 ChatGPT 結合 Study Mode 與費曼學習法做反向追問共讀,通過通俗複述、挑刺盲區到沉澱書單卡片的完整流程與提示詞。

    ChatGPT0
  3. 03

    用 ChatGPT 做外貿產品多語種目錄、展會邀約與客戶跟進節奏表(附脫敏與本地化提示詞)

    做外貿展會與海外推廣時,手工翻譯十幾款產品目錄費時且容易留下一堆中式英文,展後客戶跟進也常缺節奏。本文梳理用 ChatGPT 先脫敏建術語庫、再批量產出多語種目錄、展前邀約函與展後 21 天跟進節奏表的實戰流程與提示詞。

    ChatGPT0
  4. 04

    用 ChatGPT 寫高質素技術專欄文章、開源項目 Release Notes 與版本更新日誌實戰

    讓 AI 直接憑空寫技術文章容易滿篇空洞套話,直接甩 Git 記錄寫更新日誌又常常漏掉破壞性變更。本文整理用 ChatGPT 結合真實代碼片段、壓測數據與 PR 摘要,高效產出深度技術專欄、GitHub Release Notes 與 CHANGELOG 的實戰工作流。

    ChatGPT0
  5. 05

    用 ChatGPT 做產品用戶訪談紀要編碼、提煉高頻痛點需求池與 RICE 優先級打分實戰

    手頭攢了十幾份用戶訪談逐字稿,手工貼便利貼歸納痛點耗時又容易帶入主觀偏見。本文分享用 ChatGPT 完成脫敏檢查、逐份開放式編碼、跨樣本聚類高頻痛點並搭建 RICE 優先級打分表的 5 步實戰流,附可直接複製的三段核心提示詞。

    ChatGPT0
  6. 06

    ChatGPT 網頁版上載超過 10 個文件或回形針附件按鈕變灰怎麼辦:打包合併與配額限制排查

    在 ChatGPT 網頁版批量分析文檔時,常遇到一次選超 10 個文件被攔截或輸入框回形針按鈕變灰。本文依據 OpenAI 文件上載與存儲說明,梳理 6 類常見報錯的分流排查法,提供 ZIP 打包、本地合併與 Projects 複用方案及可直接複製的解包提示詞。

    ChatGPT0

0 條評論

登入 後參與評論

還沒有評論,來搶沙發~