OpenAI API 提示詞緩存(Prompt Caching)怎麼用:1024 token 門檻、prompt_cache_key、省費比例與命中排查

OpenAI API 提示詞緩存怎麼開啟、為什麼一直不命中?本文按官方文檔整理:自動前綴匹配與 1024 token 門檻、prompt_cache_key 路由、省費折扣比例及 cached_tokens 排查方法。

NNathaniel bigo··原創首發·AI 輔助撰寫
12 分鐘讀完
資料核對於 2026-11-18 · 依據官方文檔與公開資料整理 其他 帳號

結論先說

  1. 預設自動開啟,無需手動打斷點:在支持的模型上,OpenAI 會自動對請求開頭的相同前綴做精確匹配緩存,命中緩存本身不收額外的寫入費。
  2. 硬門檻是共同前綴滿 1024 token:短於 1024 token 的提示詞不會觸發緩存;達到 1024 token 後,按 128 token 為步長遞增計算命中長度。
  3. 省錢且降延遲:官方數據顯示緩存命中最高可降低 80% 首字延遲(TTFT),緩存輸入單價相比普通輸入最高可省 90%–95%(視具體型號而定)。
  4. 用 prompt_cache_key 提升路由命中率:傳入穩定的會話或業務標識字符串,可幫助網關把共享相同前綴的請求路由到同一批緩存實例。
  5. 排查只看 cached_tokens:Responses API 看 usage.input_tokens_details.cached_tokens,為 0 時優先查長度是否夠 1024、開頭是否混入了時間戳等動態文本。
  6. 國內免境外卡開通入口:若沒有境外銀行卡或遇到支付被拒,可在本站通過支付寶、微信支付或 AlipayHK 自助獲取兌換碼開通 ChatGPT Plus 或 ChatGPT Pro,團隊多席位支持聯絡客服定製 ChatGPT Business 團隊版。

Prompt Caching 命中原理與步驟

圖:本站根據 OpenAI 開發者文檔:Prompt Caching 整理的示意圖

本文根據 OpenAI 開發者文檔《Prompt Caching》《Counting tokens》與官方 API 價格頁整理,資料核對於 2026-11-18。配圖為本站整理的示意圖,不是介面截圖。本站(bigolab.com)不是 OpenAI 官方網站。

適用於誰

  • 每次調用 OpenAI API 都要塞入長系統指令、固定業務文檔或幾十個工具定義,希望大幅壓低輸入成本與首字延遲的開發者;
  • 發現響應 usage 裏的 cached_tokens 一直顯示為 0,想知道卡在哪條規則上的人;
  • 想搞清 OpenAI 自動緩存與 prompt_cache_key、prompt_cache_retention 參數怎麼配合的人。

一、工作原理、1024 token 門檻與省費比例

OpenAI 的提示詞緩存採用嚴格前綴匹配(Exact prefix matching):系統從整個請求的最開頭第 1 個 token 往後比對,包括頂層 instructions(或系統消息)、tools 工具列表、歷史消息以及圖片等輸入。只要開頭有一段連續完全一致的內容且達到 1024 token,後續請求複用這段前綴時就直接跳過預填充計算。

遞增規則很直觀:滿 1024 token 先緩存 1024,之後每多出整 128 token(1152、1280、1408……)再往上擴一格,不足一個步長的尾部按普通輸入計費。發請求前不確定前綴夠不夠 1024,可調用官方計數接口精確測算,方法見 /guides/openai-api-token-count-estimate。

在計費上,OpenAI 不收緩存創建或存儲附加費(這與 Anthropic 顯式緩存收寫入倍率不同,對比見 /guides/claude-prompt-caching)。按官方 API 價格表,主力模型的緩存摺扣非常可觀:例如 gpt-6-astra 標準輸入每百萬 token 為 $10.00、緩存輸入僅 $1.00(打 1 折);gpt-6.1-sol 標準輸入 $2.00、緩存輸入 $0.10(省 95%)。完整型號單價表見 /guides/openai-api-price-official-table。注意 API 帳單與個人網頁會員分開結算,日常網頁問答或用 Codex 訂 ChatGPT Plus 即可,兩者區別見 /guides/chatgpt-subscription-vs-openai-api。

二、代碼怎麼寫:固定前綴、prompt_cache_key 與保留策略

想拿到穩定的高命中率,寫請求時遵循「靜態全放前、動態全放後」即可,並配合 prompt_cache_key 做實例路由:

python
from openai import OpenAI

client = OpenAI()

# 靜態長背景與規則(確保連同 tools 一起超過 1024 tokens)
LONG_SYSTEM_SPEC = "你是企業財務合規審核助手……(此處省略超過 1024 tokens 的固定制度全文)"

response = client.responses.create(
    model="gpt-6.1-sol",  # 以官方價格頁與模型頁當前可用型號為準
    instructions=LONG_SYSTEM_SPEC,
    prompt_cache_key="finance-audit-v1",  # 相同前綴業務傳一致的 key 提高路由命中率
    input=[
        {"role": "user", "content": "請核查這份報銷單摘要是否符合差旅標準:……"}
    ],
)

print("總輸入 token:", response.usage.input_tokens)
print("命中緩存 token:", response.usage.input_tokens_details.cached_tokens)

兩個實用控制參數:

  • prompt_cache_key:當你的應用並發很高時,請求可能被分發到多台不同後端機器導致緩存分散。給共用同一套系統指令或同一用戶線程的請求傳相同的 prompt_cache_key(注意單個 key 每分鐘請求量不要極端集中過載,可按租戶或業務線分桶),能顯著提高命中率。
  • 保留時間與 prompt_cache_retention:預設內存緩存通常在閒置 5–10 分鐘後自動淘汰(低峰期偶有延長)。在支持擴展緩存保留的模型與接口上,可配置 prompt_cache_retention(例如內存級 "in_memory" 或長保留窗口 "24h",具體枚舉取值以所用模型的最新 API 參考為準),適合間隔幾十分鐘才繼續說話的異步智能體。Responses API 基礎結構見 /guides/openai-responses-api。
本站訂閱與團隊開通提示:如果你在國內遇到銀行卡被拒或急需提升對話與推理配額,可前往本站 ChatGPT Plus 充值說明頁 或 ChatGPT Pro 5x/20x 充值頁 自助獲取卡密完成開通(全程無需交出帳號密碼,可開增值稅發票);企業多成員協作可直接查看 ChatGPT Business 團隊定製方案。

三、怎麼看有沒有命中、為什麼 cached_tokens 總是 0

Prompt Caching 一直為 0 怎麼排查

圖:本站根據 OpenAI 開發者文檔:Prompt Caching 整理的示意圖

每次調用返回後,直接檢查響應裏的 usage 對象:

  • Responses API:讀 response.usage.input_tokens_details.cached_tokens;
  • Chat Completions API:讀 completion.usage.prompt_tokens_details.cached_tokens。

如果連續發兩次請求,cached_tokens 依然是 0,按下面五點逐一核對:

  1. 前綴不到 1024 token:中英文分詞密度不同,幾百漢字往往只有幾百 token,先湊夠 1024 門檻。
  2. 開頭混入了動態變量:最常見的坑是在系統提示詞第一行寫了 當前時間:2026-11-18 19:30:05 或隨機用戶請求 ID。第 10 個 token 一變,後面 1 萬個 token 全軍覆沒。務必把動態時間、檢索出的實時片段放到最後一條用戶消息裏。
  3. tools 列表順序或增刪變動:工具定義位於上下文前部。如果想在某輪禁用部分函數,不要直接刪改 tools 數組,改用 tool_choice 裏的 allowed_tools 限定可用範圍,用法見 /guides/openai-api-function-calling。
  4. 第一次請求剛發完就並發發第二次:緩存需要在首筆請求完成前綴處理後才能寫入就緒,緊挨着毫秒級同時發出的請求來不及複用。
  5. 閒置超時被逐出:兩次請求相隔十幾分鍾以上,內存緩存已被回收,重新熱身一次即可恢復。

常見問題

問:開啟了零數據保留(ZDR)或 store: false,還能用提示詞緩存嗎?

答:預設內存級提示詞緩存不把用戶內容持久化落盤,通常仍可在請求間短暫命中;但依賴持久存儲的跨長週期特性請以組織合規協議與官方文檔說明為準。

問:緩存命中的 token 還會佔用模型的上下文窗口上限和 TPM 速率限制嗎?

答:上下文窗口總長度依然按完整輸入 token 數計算;至於每分鐘 token 速率限制(TPM)各層級如何折算緩存部分,可在控制檯 Limits 頁查看當前模型說明。

問:圖片、音頻和結構化輸出 Schema 能被緩存嗎?

答:可以。只要圖片條目(相同的圖片內容與 detail 檔位)或 text.format 的 JSON Schema 位於不變的共同前綴內,且總前綴滿 1024 token,同樣計入緩存。

問:國內沒有境外信用卡,怎麼開通或續費 ChatGPT Plus / Pro?

答:可在本站使用支付寶、微信支付或 AlipayHK 下單獲取卡密自助兌換(支持 ChatGPT Plus、Pro 5x 可覆蓋檔 與 Pro 5x 空白號檔),實時價格、兌換前提與售後規則(掉訂閱按剩餘天數折退,封號不在質保範圍)以對應頁面說明為準。

相關教學

參考資料

  • OpenAI 開發者文檔:Prompt Caching — https://developers.openai.com/api/docs/guides/prompt-caching
  • OpenAI API 價格頁 — https://developers.openai.com/api/docs/pricing
  • OpenAI 開發者文檔:Counting tokens — https://developers.openai.com/api/docs/guides/token-counting

Nathaniel 的更多內容

  1. 01

    獨立開發者用 ChatGPT + Codex 跑通產品全流程:市場驗證、PRD、原型到代碼上線覆盤清單

    單人做獨立產品最容易陷入「閉門寫兩個月代碼上線零用戶」或「AI 寫到一半目錄越改越崩」。本文整理「ChatGPT 負責市場驗證、PRD 與覆盤 + Codex 負責工程實現與測試」的五階段雙軌流程,附起手提示詞與 7 項上線覆盤清單。

    ChatGPTCodex0
  2. 02

    用 ChatGPT 批量生成規範文件命名規則、整理混亂目錄樹與合併零散發票抬頭清單腳本

    面對滿桌面的「新建文件夾」「最終版2」和上百張零散電子發票,手工改名抄台帳耗時又容易漏重。本文分享先脫敏取樣、再用 ChatGPT 生成帶預演和回滾日誌的本地 Python 腳本,離線安全完成目錄整理與發票抬頭合併去重的實戰流程。

    ChatGPT0
  3. 03

    用 ChatGPT 做海外電郵營銷(EDM)受眾分層文案、A/B 主題行測試與防進垃圾箱自檢

    做海外獨立站或出海 SaaS 電郵營銷(EDM),最怕千人一面群發被直接送進垃圾箱。本文結合 Gmail/Yahoo 批量發件人規範,梳理用 ChatGPT 設計受眾分層文案、批量生成 A/B 主題行矩陣並開展發前垃圾詞與合規自檢的實戰提示詞。

    ChatGPT0
  4. 04

    用 ChatGPT 寫 Notion Formula 2.0 公式、Obsidian Dataview 查詢與 Airtable 自動化腳本

    給 Notion 數據庫寫多條件 Formula 2.0 公式、給 Obsidian 寫 Dataview 動態看板,或在 Airtable 裏寫自動化腳本,經常因為一個小括號或類型不匹配報錯半天。本文整理三大工具的通用上下文喂料規範與三套直接可複製的生成提示詞。

    ChatGPT其他 AI 工具0
  5. 05

    用 ChatGPT 處理複雜 JSON / YAML / XML 字段映射、格式轉換與校驗規則編寫實戰

    對接第三方 API、遷移 Kubernetes 配置或解析政企 XML 報文時,手工對照幾百行嵌套字段既慢又容易漏掉空值與類型邊界。本文整理用 ChatGPT 完成字段映射表梳理、生成確定性轉換腳本以及編寫 JSON Schema / Pydantic / XSD 校驗規則的實戰流。

    ChatGPT其他 AI 工具0
  6. 06

    用 ChatGPT 準備本科/碩士畢業論文答辯:提煉答辯 PPT 結構、模擬導師犀利追問與 3 分鐘自述稿

    畢業論文寫完後,要在 3–5 分鐘內講清研究價值並頂住答辯評委的連環追問並不輕鬆。本文整理在嚴格遵守高校學術規範的前提下,用 ChatGPT 提煉答辯 PPT 結構、打磨 3 分鐘口語自述稿並開展模擬導師犀利追問的排練流程與提示詞。

    ChatGPT0

同產品的其他教學

  1. 01

    用 ChatGPT 整理家庭裝修預算明細、隱蔽工程驗收清單與主材優缺點對比表實戰

    第一次裝修面對幾十頁施工報價單、密密麻麻的水電防水隱蔽項目與五花八門的主材參數,極易踩坑增項。本文梳理用 ChatGPT 審查裝修報價漏項、生成帶公式的預算明細表、定製工地隱蔽工程驗收單與主材對比表的實戰提示詞。

    ChatGPT0
  2. 02

    用 ChatGPT 做費曼學習法讀書共讀:反向追問檢驗自己是否真讀懂專業書籍與整理書單筆記

    讀完一本專業硬書常感覺「合上書就忘」,直接讓 AI 概括全書又容易產生懂了的錯覺。本文介紹用 ChatGPT 結合 Study Mode 與費曼學習法做反向追問共讀,通過通俗複述、挑刺盲區到沉澱書單卡片的完整流程與提示詞。

    ChatGPT0
  3. 03

    用 ChatGPT 做外貿產品多語種目錄、展會邀約與客戶跟進節奏表(附脫敏與本地化提示詞)

    做外貿展會與海外推廣時,手工翻譯十幾款產品目錄費時且容易留下一堆中式英文,展後客戶跟進也常缺節奏。本文梳理用 ChatGPT 先脫敏建術語庫、再批量產出多語種目錄、展前邀約函與展後 21 天跟進節奏表的實戰流程與提示詞。

    ChatGPT0
  4. 04

    用 ChatGPT 寫高質素技術專欄文章、開源項目 Release Notes 與版本更新日誌實戰

    讓 AI 直接憑空寫技術文章容易滿篇空洞套話,直接甩 Git 記錄寫更新日誌又常常漏掉破壞性變更。本文整理用 ChatGPT 結合真實代碼片段、壓測數據與 PR 摘要,高效產出深度技術專欄、GitHub Release Notes 與 CHANGELOG 的實戰工作流。

    ChatGPT0
  5. 05

    用 ChatGPT 做產品用戶訪談紀要編碼、提煉高頻痛點需求池與 RICE 優先級打分實戰

    手頭攢了十幾份用戶訪談逐字稿,手工貼便利貼歸納痛點耗時又容易帶入主觀偏見。本文分享用 ChatGPT 完成脫敏檢查、逐份開放式編碼、跨樣本聚類高頻痛點並搭建 RICE 優先級打分表的 5 步實戰流,附可直接複製的三段核心提示詞。

    ChatGPT0
  6. 06

    ChatGPT 網頁版上載超過 10 個文件或回形針附件按鈕變灰怎麼辦:打包合併與配額限制排查

    在 ChatGPT 網頁版批量分析文檔時,常遇到一次選超 10 個文件被攔截或輸入框回形針按鈕變灰。本文依據 OpenAI 文件上載與存儲說明,梳理 6 類常見報錯的分流排查法,提供 ZIP 打包、本地合併與 Projects 複用方案及可直接複製的解包提示詞。

    ChatGPT0

0 條評論

登入 後參與評論

還沒有評論,來搶沙發~