OpenAI API 音频输入输出(gpt-audio 异步对话)怎么调:与 Realtime WebSocket 实时语音的选型对比

想让应用直接听懂用户录音并用自然语音回复,该调 gpt-audio 还是上 Realtime API?本文按官方文档对比两套架构差异,并给出 Python 音频输入输出、音色参数与多轮对话代码示例。

NNathaniel bigo··原创首发·AI 辅助撰写
9 分钟读完
资料核对于 2026-11-18 · 依据官方文档与公开资料整理 其他 账号

结论先说

  1. OpenAI 提供两套原生语音对话路线:回合制 HTTP(gpt-audio)与全双工流式(Realtime API)。前者像微信发语音条,复用普通 REST 后端即可接入;后者像打电话,走 WebRTC 或 WebSocket 支持边听边说和随时打断。
  2. gpt-audio 一次请求同时返回语音字节流与配套文字稿。只需将 modalities 设为 ["text", "audio"] 并指定 audio 音色与编码格式,无需自己串联三段独立接口。
  3. 流式与非流式支持的音频格式不同。一次性非流式返回可直接要 wav 或 mp3;开启 stream=True 低延迟边收边播时,输出格式需指定为无头部的 pcm16。
  4. 若业务完全不需要情绪感知,拆成「转写 + 文本模型 + TTS」往往更省成本。纯文字链路便于中间审核与检索落库。
  5. 想先在手机或电脑端体验官方原生实时语音效果,国内缺少境外银行卡的用户可在本站自助开通 ChatGPT Plus 或高配额 ChatGPT Pro,企业团队可咨询 ChatGPT Business 团队定制。

gpt-audio 与 Realtime API 选型对比

图:本站根据 OpenAI 官方文档:Audio and speech 整理的示意图

本文根据 OpenAI API 官方文档《Audio and speech》《Realtime API》整理,资料核对于 2026-11-18。配图为本站整理的示意图,不是界面截图。本站(bigolab.com)不是 OpenAI 官方网站。

适用于谁

  • 想在小程序、App 或网页里做「按住说话发语音、AI 语音加文字回消息」功能,纠结选 HTTP 接口还是 WebSocket 实时流的开发者;
  • 希望模型直接感知用户录音里的语气、停顿与情绪,而不是先转纯文字丢掉声音细节的人;
  • 调用 gpt-audio 系列模型时遇到流式音频格式报错或多轮历史拼装失败的排查者。

一、三种官方音频方案怎么选

结合站内已整理的转写配音(见 /guides/openai-api-speech-to-text-text-to-speech)与实时会话(见 /guides/openai-api-realtime),选型对照如下:

方案名称网络协议核心优势适用产品形态
gpt-audio 异步对话标准 HTTP / SSE接入简单,原生听懂语调并同步出音字口语发音纠错、异步语音留言问答、绘本伴读
Realtime APIWebRTC / WebSocket毫秒级双向对讲、内置语音活动检测与打断实时口语陪练、车载语音副驾、电话客服机器人
转写 + 文本 + TTS 串联标准 HTTP中间文本可人工干预修改,单价容易精细拆分会议纪要(参考 /guides/chatgpt-audio-transcription)、长文章朗读

只要你的交互界面有明确的「松开发送」动作、不需要用户在 AI 说话中途插嘴打断,优先用 gpt-audio 可以省去维护长连接网关的运维负担。

二、gpt-audio 音频输入与输出 Python 示例

调用 gpt-audio 音频输入输出流程

图:本站根据 OpenAI 官方文档:Audio and speech 整理的示意图

下面演示将本地用户提问录音 .wav 编码后传给 gpt-audio,并把模型回复的语音存盘、文字打印出来:

python
import base64
from pathlib import Path
from openai import OpenAI

client = OpenAI()

raw_audio = Path("question.wav").read_bytes()
b64_input = base64.b64encode(raw_audio).decode("utf-8")

resp = client.chat.completions.create(
    model="gpt-audio",
    modalities=["text", "audio"],
    audio=dict(voice="alloy", format="wav"),
    messages=[
        dict(
            role="user",
            content=[
                dict(type="text", text="请听这段英语口语录音,用中文指出语法和重音问题并示范正确读法。"),
                dict(type="input_audio", input_audio=dict(data=b64_input, format="wav")),
            ],
        )
    ],
)

msg = resp.choices[0].message
print("文字转写稿:", msg.audio.transcript)
Path("reply.wav").write_bytes(base64.b64decode(msg.audio.data))
print("本轮音频标识:", msg.audio.id)

若只需要「听录音回纯文字」(比如客服录音质检打分),把 modalities 改为 ["text"] 并去掉顶层 audio 参数即可,省去音频输出 Token 开销(价格规则见 /guides/openai-api-price-official-table)。

订阅与账号准备提示:音频 Token 单价显著高于纯文本 Token,个人日常练口语或做外语模拟面试直接用官方客户端语音模式更划算。国内用户可在本站开通 ChatGPT Plus 会员 或更高配额的 ChatGPT Pro 充值,支持卡密自助兑换。

三、多轮上下文续接与常见报错注意事项

  1. 多轮对话传 audio.id 而非重传整段 Base64:进行第二轮追问时,把上一轮助手消息按 dict(role="assistant", audio=dict(id=msg.audio.id)) 追加进 messages 数组即可(服务端缓存的音频引用有存活时限,过期后可回退为传 transcript 文本)。
  2. 开启流式 stream=True 报格式不支持:流式分块传输无法提前写入 wav 文件头的总长度字节,因此官方规定流式下 audio.format 必须填 pcm16,客户端按采样率直接送入声卡缓冲区播放。
  3. 输入音频格式限制:input_audio.format 目前主要接受 wav 与 mp3;如果前端手机浏览器录出的是 webm 或 m4a,需先在服务端用 ffmpeg 转封装后再编码传入。

常见问题

问:gpt-audio 支持在对话中途调用外部函数(Function Calling)吗?

答:支持。和常规文本对话一样传入 tools 定义即可;当模型判定需要查天气或查订单时,会先返回 tool_calls,你回传工具执行结果后,它再用自然语音把查询结果播报出来。

问:有哪些官方内置音色(voice)可以选?

答:官方提供 alloy、ash、ballad、coral、echo、sage、shimmer、verse 等多款预设音色,具体可用音色列表以官方文档当天展示为准,建议在业务里固定同一款音色保持人设一致。

问:国内没有外币卡,或者公司需要开增值税发票报销,怎么开通官方 ChatGPT 订阅体验高级语音?

答:可通过本站 AI 会员充值总览 选购 ChatGPT Plus 或 ChatGPT Pro,支持支付宝、微信支付及 AlipayHK,支持卡密自助兑换与企业定制,并可开具增值税发票。实时价格以页面显示为准;售后遵循掉订阅按剩余天数折退、封号不在质保范围的规则。

相关教程

参考资料

  • OpenAI API 官方文档:Audio and speech — https://platform.openai.com/docs/guides/audio
  • OpenAI API 官方文档:Realtime API — https://platform.openai.com/docs/guides/realtime

Nathaniel 的更多内容

  1. 01

    独立开发者用 ChatGPT + Codex 跑通产品全流程:市场验证、PRD、原型到代码上线复盘清单

    单人做独立产品最容易陷入「闭门写两个月代码上线零用户」或「AI 写到一半目录越改越崩」。本文整理「ChatGPT 负责市场验证、PRD 与复盘 + Codex 负责工程实现与测试」的五阶段双轨流程,附起手提示词与 7 项上线复盘清单。

    ChatGPTCodex0
  2. 02

    用 ChatGPT 批量生成规范文件命名规则、整理混乱目录树与合并零散发票抬头清单脚本

    面对满桌面的「新建文件夹」「最终版2」和上百张零散电子发票,手工改名抄台账耗时又容易漏重。本文分享先脱敏取样、再用 ChatGPT 生成带预演和回滚日志的本地 Python 脚本,离线安全完成目录整理与发票抬头合并去重的实战流程。

    ChatGPT0
  3. 03

    用 ChatGPT 做海外邮件营销(EDM)受众分层文案、A/B 主题行测试与防进垃圾箱自检

    做海外独立站或出海 SaaS 邮件营销(EDM),最怕千人一面群发被直接送进垃圾箱。本文结合 Gmail/Yahoo 批量发件人规范,梳理用 ChatGPT 设计受众分层文案、批量生成 A/B 主题行矩阵并开展发前垃圾词与合规自检的实战提示词。

    ChatGPT0
  4. 04

    用 ChatGPT 写 Notion Formula 2.0 公式、Obsidian Dataview 查询与 Airtable 自动化脚本

    给 Notion 数据库写多条件 Formula 2.0 公式、给 Obsidian 写 Dataview 动态看板,或在 Airtable 里写自动化脚本,经常因为一个小括号或类型不匹配报错半天。本文整理三大工具的通用上下文喂料规范与三套直接可复制的生成提示词。

    ChatGPT其他 AI 工具0
  5. 05

    用 ChatGPT 处理复杂 JSON / YAML / XML 字段映射、格式转换与校验规则编写实战

    对接第三方 API、迁移 Kubernetes 配置或解析政企 XML 报文时,手工对照几百行嵌套字段既慢又容易漏掉空值与类型边界。本文整理用 ChatGPT 完成字段映射表梳理、生成确定性转换脚本以及编写 JSON Schema / Pydantic / XSD 校验规则的实战流。

    ChatGPT其他 AI 工具0
  6. 06

    用 ChatGPT 准备本科/硕士毕业论文答辩:提炼答辩 PPT 结构、模拟导师犀利追问与 3 分钟自述稿

    毕业论文写完后,要在 3–5 分钟内讲清研究价值并顶住答辩评委的连环追问并不轻松。本文整理在严格遵守高校学术规范的前提下,用 ChatGPT 提炼答辩 PPT 结构、打磨 3 分钟口语自述稿并开展模拟导师犀利追问的排练流程与提示词。

    ChatGPT0

同模型

  1. 01

    从免费试水到全职写码:Codex 个人开发者月度额度规划与 Plus / Pro 5x / Pro 20x 升级时机指南

    个人开发者用 Codex 写代码,怎么判断自己该留在 Plus、买 Credits 点数兜底,还是升级 Pro 5x(官方 Pro 100)或 Pro 20x(官方 Pro 200)?本文基于官方定价规则与 /status 预警信号,给出清晰月度额度规划。

    ChatGPTCodex0
  2. 02

    小微研发团队在 ChatGPT Business 与 Pro 之间怎么配 Codex 席位最省钱:角色分层与额度测算

    5 到 20 人的小微研发团队采购 Codex,全员上高配太贵、全员买基础档又天天卡 5 小时限流?本文对照官方 Business(Standard / Premium)与 Pro 规则,给出按角色分层的席位搭配与预算测算框架。

    ChatGPTCodex0
  3. 03

    ChatGPT + Codex 联合开发 SaaS MVP 实战:先写 PRD 与架构图再落库写代码

    直接让 AI 一口气从零写完 SaaS 往往表结构混乱、功能返工。本文拆解 ChatGPT 写 PRD 与架构图、落盘仓库文档与 AGENTS.md、再由 Codex 分片落库与测试验收的完整闭环。

    ChatGPTCodex0
  4. 04

    ChatGPT 智能交互界面(Intelligent UI)怎么触发和用好:表单、计算器、图表与对比卡片实战

    同样是用 GPT-6,为什么别人的 ChatGPT 能直接弹出带滑块的计算器、交互图表和对比卡片,你的却只回一大段纯文字?本文依据 OpenAI GPT-6 官方文档讲清触发前提、4 类高命中提问模板,以及不出交互界面时的排查方法。

    ChatGPT0
  5. 05

    买 ChatGPT Pro 5x 还是 Pro 20x 怎么按月度用量自测:Codex 并发与深度研究频次估算对照

    犹豫买 ChatGPT Pro 5x(官方 Pro 100)还是 Pro 20x(官方 Pro 200)?本文对照官方最新档位规则,用 Codex 并发任务、Fast 模式消耗倍率和深度研究频次三项指标帮你做月度用量自测。

    ChatGPTCodex0
  6. 06

    Codex 额度消耗太快怎么省:模型档位切换、推理强度降级、关闭非必要 Fast 模式与控上下文 6 招

    刚写半天代码就提示 Codex 触达周期限额?本文从 Token 计费原理拆解消耗黑洞,给出模型降档、推理强度调优、关闭非必要高速模式与控上下文的 6 招省额度方案。

    ChatGPTCodex0

同产品的其他教程

  1. 01

    用 ChatGPT 整理家庭装修预算明细、隐蔽工程验收清单与主材优缺点对比表实战

    第一次装修面对几十页施工报价单、密密麻麻的水电防水隐蔽项目与五花八门的主材参数,极易踩坑增项。本文梳理用 ChatGPT 审查装修报价漏项、生成带公式的预算明细表、定制工地隐蔽工程验收单与主材对比表的实战提示词。

    ChatGPT0
  2. 02

    用 ChatGPT 做费曼学习法读书共读:反向追问检验自己是否真读懂专业书籍与整理书单笔记

    读完一本专业硬书常感觉「合上书就忘」,直接让 AI 概括全书又容易产生懂了的错觉。本文介绍用 ChatGPT 结合 Study Mode 与费曼学习法做反向追问共读,通过通俗复述、挑刺盲区到沉淀书单卡片的完整流程与提示词。

    ChatGPT0
  3. 03

    用 ChatGPT 做外贸产品多语种目录、展会邀约与客户跟进节奏表(附脱敏与本地化提示词)

    做外贸展会与海外推广时,手工翻译十几款产品目录费时且容易留下一堆中式英文,展后客户跟进也常缺节奏。本文梳理用 ChatGPT 先脱敏建术语库、再批量产出多语种目录、展前邀约函与展后 21 天跟进节奏表的实战流程与提示词。

    ChatGPT0
  4. 04

    用 ChatGPT 写高质量技术专栏文章、开源项目 Release Notes 与版本更新日志实战

    让 AI 直接凭空写技术文章容易满篇空洞套话,直接甩 Git 记录写更新日志又常常漏掉破坏性变更。本文整理用 ChatGPT 结合真实代码片段、压测数据与 PR 摘要,高效产出深度技术专栏、GitHub Release Notes 与 CHANGELOG 的实战工作流。

    ChatGPT0
  5. 05

    用 ChatGPT 做产品用户访谈纪要编码、提炼高频痛点需求池与 RICE 优先级打分实战

    手头攒了十几份用户访谈逐字稿,手工贴便利贴归纳痛点耗时又容易带入主观偏见。本文分享用 ChatGPT 完成脱敏检查、逐份开放式编码、跨样本聚类高频痛点并搭建 RICE 优先级打分表的 5 步实战流,附可直接复制的三段核心提示词。

    ChatGPT0
  6. 06

    ChatGPT 网页版上传超过 10 个文件或回形针附件按钮变灰怎么办:打包合并与配额限制排查

    在 ChatGPT 网页版批量分析文档时,常遇到一次选超 10 个文件被拦截或输入框回形针按钮变灰。本文依据 OpenAI 文件上传与存储说明,梳理 6 类常见报错的分流排查法,提供 ZIP 打包、本地合并与 Projects 复用方案及可直接复制的解包提示词。

    ChatGPT0

0 条评论

登录 后参与评论

还没有评论,来抢沙发~