OpenAI API 音頻輸入輸出(gpt-audio 異步對話)怎麼調:與 Realtime WebSocket 實時語音的選型對比

想讓應用直接聽懂用戶錄音並用自然語音回覆,該調 gpt-audio 還是上 Realtime API?本文按官方文檔對比兩套架構差異,並給出 Python 音頻輸入輸出、音色參數與多輪對話代碼示例。

NNathaniel bigo··原創首發·AI 輔助撰寫
9 分鐘讀完
資料核對於 2026-11-18 · 依據官方文檔與公開資料整理 其他 帳號

結論先說

  1. OpenAI 提供兩套原生語音對話路線:回合制 HTTP(gpt-audio)與全雙工流式(Realtime API)。前者像微信發語音條,複用普通 REST 後端即可接入;後者像打電話,走 WebRTC 或 WebSocket 支持邊聽邊說和隨時打斷。
  2. gpt-audio 一次請求同時返回語音字節流與配套文字稿。只需將 modalities 設為 ["text", "audio"] 並指定 audio 音色與編碼格式,無需自己串聯三段獨立接口。
  3. 流式與非流式支持的音頻格式不同。一次性非流式返回可直接要 wav 或 mp3;開啟 stream=True 低延遲邊收邊播時,輸出格式需指定為無頭部的 pcm16。
  4. 若業務完全不需要情緒感知,拆成「轉寫 + 文本模型 + TTS」往往更省成本。純文字鏈路便於中間審核與檢索落庫。
  5. 想先在手機或電腦端體驗官方原生實時語音效果,國內缺少境外銀行卡的用戶可在本站自助開通 ChatGPT Plus 或高配額 ChatGPT Pro,企業團隊可諮詢 ChatGPT Business 團隊定製。

gpt-audio 與 Realtime API 選型對比

圖:本站根據 OpenAI 官方文檔:Audio and speech 整理的示意圖

本文根據 OpenAI API 官方文檔《Audio and speech》《Realtime API》整理,資料核對於 2026-11-18。配圖為本站整理的示意圖,不是介面截圖。本站(bigolab.com)不是 OpenAI 官方網站。

適用於誰

  • 想在小程式、App 或網頁裏做「按住說話發語音、AI 語音加文字回消息」功能,糾結選 HTTP 接口還是 WebSocket 實時流的開發者;
  • 希望模型直接感知用戶錄音裏的語氣、停頓與情緒,而不是先轉純文字丟掉聲音細節的人;
  • 調用 gpt-audio 系列模型時遇到流式音頻格式報錯或多輪歷史拼裝失敗的排查者。

一、三種官方音頻方案怎麼選

結合站內已整理的轉寫配音(見 /guides/openai-api-speech-to-text-text-to-speech)與實時會話(見 /guides/openai-api-realtime),選型對照如下:

方案名稱網絡協議核心優勢適用產品形態
gpt-audio 異步對話標準 HTTP / SSE接入簡單,原生聽懂語調並同步出音字口語發音糾錯、異步語音留言問答、繪本伴讀
Realtime APIWebRTC / WebSocket毫秒級雙向對講、內置語音活動檢測與打斷實時口語陪練、車載語音副駕、電話客服機器人
轉寫 + 文本 + TTS 串聯標準 HTTP中間文本可人工干預修改,單價容易精細拆分會議紀要(參考 /guides/chatgpt-audio-transcription)、長文章朗讀

只要你的交互介面有明確的「鬆開發送」動作、不需要用戶在 AI 說話中途插嘴打斷,優先用 gpt-audio 可以省去維護長連接網關的運維負擔。

二、gpt-audio 音頻輸入與輸出 Python 示例

調用 gpt-audio 音頻輸入輸出流程

圖:本站根據 OpenAI 官方文檔:Audio and speech 整理的示意圖

下面演示將本地用戶提問錄音 .wav 編碼後傳給 gpt-audio,並把模型回覆的語音存盤、文字打印出來:

python
import base64
from pathlib import Path
from openai import OpenAI

client = OpenAI()

raw_audio = Path("question.wav").read_bytes()
b64_input = base64.b64encode(raw_audio).decode("utf-8")

resp = client.chat.completions.create(
    model="gpt-audio",
    modalities=["text", "audio"],
    audio=dict(voice="alloy", format="wav"),
    messages=[
        dict(
            role="user",
            content=[
                dict(type="text", text="請聽這段英語口語錄音,用中文指出語法和重音問題並示範正確讀法。"),
                dict(type="input_audio", input_audio=dict(data=b64_input, format="wav")),
            ],
        )
    ],
)

msg = resp.choices[0].message
print("文字轉寫稿:", msg.audio.transcript)
Path("reply.wav").write_bytes(base64.b64decode(msg.audio.data))
print("本輪音頻標識:", msg.audio.id)

若只需要「聽錄音回純文字」(比如客服錄音質檢打分),把 modalities 改為 ["text"] 並去掉頂層 audio 參數即可,省去音頻輸出 Token 開銷(價格規則見 /guides/openai-api-price-official-table)。

訂閱與帳號準備提示:音頻 Token 單價顯著高於純文本 Token,個人日常練口語或做外語模擬面試直接用官方客戶端語音模式更划算。國內用戶可在本站開通 ChatGPT Plus 會員 或更高配額的 ChatGPT Pro 充值,支持卡密自助兌換。

三、多輪上下文續接與常見報錯注意事項

  1. 多輪對話傳 audio.id 而非重傳整段 Base64:進行第二輪追問時,把上一輪助手消息按 dict(role="assistant", audio=dict(id=msg.audio.id)) 追加進 messages 數組即可(服務端緩存的音頻引用有存活時限,過期後可回退為傳 transcript 文本)。
  2. 開啟流式 stream=True 報格式不支持:流式分塊傳輸無法提前寫入 wav 文件頭的總長度字節,因此官方規定流式下 audio.format 必須填 pcm16,客戶端按採樣率直接送入聲卡緩衝區播放。
  3. 輸入音頻格式限制:input_audio.format 目前主要接受 wav 與 mp3;如果前端手機瀏覽器錄出的是 webm 或 m4a,需先在服務端用 ffmpeg 轉封裝後再編碼傳入。

常見問題

問:gpt-audio 支持在對話中途調用外部函數(Function Calling)嗎?

答:支持。和常規文本對話一樣傳入 tools 定義即可;當模型判定需要查天氣或查訂單時,會先返回 tool_calls,你回傳工具執行結果後,它再用自然語音把查詢結果播報出來。

問:有哪些官方內置音色(voice)可以選?

答:官方提供 alloy、ash、ballad、coral、echo、sage、shimmer、verse 等多款預設音色,具體可用音色列表以官方文檔當天展示為準,建議在業務裏固定同一款音色保持人設一致。

問:國內沒有外幣卡,或者公司需要開增值稅發票報銷,怎麼開通官方 ChatGPT 訂閱體驗高級語音?

答:可通過本站 AI 會員充值總覽 選購 ChatGPT Plus 或 ChatGPT Pro,支持支付寶、微信支付及 AlipayHK,支持卡密自助兌換與企業定製,並可開具增值稅發票。實時價格以頁面顯示為準;售後遵循掉訂閱按剩餘天數折退、封號不在質保範圍的規則。

相關教學

參考資料

  • OpenAI API 官方文檔:Audio and speech — https://platform.openai.com/docs/guides/audio
  • OpenAI API 官方文檔:Realtime API — https://platform.openai.com/docs/guides/realtime

Nathaniel 的更多內容

  1. 01

    獨立開發者用 ChatGPT + Codex 跑通產品全流程:市場驗證、PRD、原型到代碼上線覆盤清單

    單人做獨立產品最容易陷入「閉門寫兩個月代碼上線零用戶」或「AI 寫到一半目錄越改越崩」。本文整理「ChatGPT 負責市場驗證、PRD 與覆盤 + Codex 負責工程實現與測試」的五階段雙軌流程,附起手提示詞與 7 項上線覆盤清單。

    ChatGPTCodex0
  2. 02

    用 ChatGPT 批量生成規範文件命名規則、整理混亂目錄樹與合併零散發票抬頭清單腳本

    面對滿桌面的「新建文件夾」「最終版2」和上百張零散電子發票,手工改名抄台帳耗時又容易漏重。本文分享先脫敏取樣、再用 ChatGPT 生成帶預演和回滾日誌的本地 Python 腳本,離線安全完成目錄整理與發票抬頭合併去重的實戰流程。

    ChatGPT0
  3. 03

    用 ChatGPT 做海外電郵營銷(EDM)受眾分層文案、A/B 主題行測試與防進垃圾箱自檢

    做海外獨立站或出海 SaaS 電郵營銷(EDM),最怕千人一面群發被直接送進垃圾箱。本文結合 Gmail/Yahoo 批量發件人規範,梳理用 ChatGPT 設計受眾分層文案、批量生成 A/B 主題行矩陣並開展發前垃圾詞與合規自檢的實戰提示詞。

    ChatGPT0
  4. 04

    用 ChatGPT 寫 Notion Formula 2.0 公式、Obsidian Dataview 查詢與 Airtable 自動化腳本

    給 Notion 數據庫寫多條件 Formula 2.0 公式、給 Obsidian 寫 Dataview 動態看板,或在 Airtable 裏寫自動化腳本,經常因為一個小括號或類型不匹配報錯半天。本文整理三大工具的通用上下文喂料規範與三套直接可複製的生成提示詞。

    ChatGPT其他 AI 工具0
  5. 05

    用 ChatGPT 處理複雜 JSON / YAML / XML 字段映射、格式轉換與校驗規則編寫實戰

    對接第三方 API、遷移 Kubernetes 配置或解析政企 XML 報文時,手工對照幾百行嵌套字段既慢又容易漏掉空值與類型邊界。本文整理用 ChatGPT 完成字段映射表梳理、生成確定性轉換腳本以及編寫 JSON Schema / Pydantic / XSD 校驗規則的實戰流。

    ChatGPT其他 AI 工具0
  6. 06

    用 ChatGPT 準備本科/碩士畢業論文答辯:提煉答辯 PPT 結構、模擬導師犀利追問與 3 分鐘自述稿

    畢業論文寫完後,要在 3–5 分鐘內講清研究價值並頂住答辯評委的連環追問並不輕鬆。本文整理在嚴格遵守高校學術規範的前提下,用 ChatGPT 提煉答辯 PPT 結構、打磨 3 分鐘口語自述稿並開展模擬導師犀利追問的排練流程與提示詞。

    ChatGPT0

同模型

  1. 01

    從免費試水到全職寫碼:Codex 個人開發者月度額度規劃與 Plus / Pro 5x / Pro 20x 升級時機指南

    個人開發者用 Codex 寫代碼,怎麼判斷自己該留在 Plus、買 Credits 點數兜底,還是升級 Pro 5x(官方 Pro 100)或 Pro 20x(官方 Pro 200)?本文基於官方定價規則與 /status 預警信號,給出清晰月度額度規劃。

    ChatGPTCodex0
  2. 02

    小微研發團隊在 ChatGPT Business 與 Pro 之間怎麼配 Codex 席位最省錢:角色分層與額度測算

    5 到 20 人的小微研發團隊採購 Codex,全員上高配太貴、全員買基礎檔又天天卡 5 小時限流?本文對照官方 Business(Standard / Premium)與 Pro 規則,給出按角色分層的席位搭配與預算測算框架。

    ChatGPTCodex0
  3. 03

    ChatGPT + Codex 聯合開發 SaaS MVP 實戰:先寫 PRD 與架構圖再落庫寫代碼

    直接讓 AI 一口氣從零寫完 SaaS 往往表結構混亂、功能返工。本文拆解 ChatGPT 寫 PRD 與架構圖、落盤倉庫文檔與 AGENTS.md、再由 Codex 分片落庫與測試驗收的完整閉環。

    ChatGPTCodex0
  4. 04

    ChatGPT 智能交互介面(Intelligent UI)怎麼觸發和用好:表單、計算器、圖表與對比卡片實戰

    同樣是用 GPT-6,為什麼別人的 ChatGPT 能直接彈出帶滑塊的計算器、交互圖表和對比卡片,你的卻只回一大段純文字?本文依據 OpenAI GPT-6 官方文檔講清觸發前提、4 類高命中提問模板,以及不出交互介面時的排查方法。

    ChatGPT0
  5. 05

    買 ChatGPT Pro 5x 還是 Pro 20x 怎麼按月度用量自測:Codex 並發與深度研究頻次估算對照

    猶豫買 ChatGPT Pro 5x(官方 Pro 100)還是 Pro 20x(官方 Pro 200)?本文對照官方最新檔位規則,用 Codex 並發任務、Fast 模式消耗倍率和深度研究頻次三項指標幫你做月度用量自測。

    ChatGPTCodex0
  6. 06

    Codex 額度消耗太快怎麼省:模型檔位切換、推理強度降級、關閉非必要 Fast 模式與控上下文 6 招

    剛寫半天代碼就提示 Codex 觸達週期限額?本文從 Token 計費原理拆解消耗黑洞,給出模型降檔、推理強度調優、關閉非必要高速模式與控上下文的 6 招省額度方案。

    ChatGPTCodex0

同產品的其他教學

  1. 01

    用 ChatGPT 整理家庭裝修預算明細、隱蔽工程驗收清單與主材優缺點對比表實戰

    第一次裝修面對幾十頁施工報價單、密密麻麻的水電防水隱蔽項目與五花八門的主材參數,極易踩坑增項。本文梳理用 ChatGPT 審查裝修報價漏項、生成帶公式的預算明細表、定製工地隱蔽工程驗收單與主材對比表的實戰提示詞。

    ChatGPT0
  2. 02

    用 ChatGPT 做費曼學習法讀書共讀:反向追問檢驗自己是否真讀懂專業書籍與整理書單筆記

    讀完一本專業硬書常感覺「合上書就忘」,直接讓 AI 概括全書又容易產生懂了的錯覺。本文介紹用 ChatGPT 結合 Study Mode 與費曼學習法做反向追問共讀,通過通俗複述、挑刺盲區到沉澱書單卡片的完整流程與提示詞。

    ChatGPT0
  3. 03

    用 ChatGPT 做外貿產品多語種目錄、展會邀約與客戶跟進節奏表(附脫敏與本地化提示詞)

    做外貿展會與海外推廣時,手工翻譯十幾款產品目錄費時且容易留下一堆中式英文,展後客戶跟進也常缺節奏。本文梳理用 ChatGPT 先脫敏建術語庫、再批量產出多語種目錄、展前邀約函與展後 21 天跟進節奏表的實戰流程與提示詞。

    ChatGPT0
  4. 04

    用 ChatGPT 寫高質素技術專欄文章、開源項目 Release Notes 與版本更新日誌實戰

    讓 AI 直接憑空寫技術文章容易滿篇空洞套話,直接甩 Git 記錄寫更新日誌又常常漏掉破壞性變更。本文整理用 ChatGPT 結合真實代碼片段、壓測數據與 PR 摘要,高效產出深度技術專欄、GitHub Release Notes 與 CHANGELOG 的實戰工作流。

    ChatGPT0
  5. 05

    用 ChatGPT 做產品用戶訪談紀要編碼、提煉高頻痛點需求池與 RICE 優先級打分實戰

    手頭攢了十幾份用戶訪談逐字稿,手工貼便利貼歸納痛點耗時又容易帶入主觀偏見。本文分享用 ChatGPT 完成脫敏檢查、逐份開放式編碼、跨樣本聚類高頻痛點並搭建 RICE 優先級打分表的 5 步實戰流,附可直接複製的三段核心提示詞。

    ChatGPT0
  6. 06

    ChatGPT 網頁版上載超過 10 個文件或回形針附件按鈕變灰怎麼辦:打包合併與配額限制排查

    在 ChatGPT 網頁版批量分析文檔時,常遇到一次選超 10 個文件被攔截或輸入框回形針按鈕變灰。本文依據 OpenAI 文件上載與存儲說明,梳理 6 類常見報錯的分流排查法,提供 ZIP 打包、本地合併與 Projects 複用方案及可直接複製的解包提示詞。

    ChatGPT0

0 條評論

登入 後參與評論

還沒有評論,來搶沙發~