Gemini Live API(實時雙向音影片流)開發入門:WebSocket 低延遲語音影片對話、打斷檢測與會話時長限制

想開發像真人通話一樣隨時打斷、還能看攝像頭畫面的實時語音助手?本文按 Gemini Live API 官方文檔整理 WebSocket 異步連接代碼、16kHz/24kHz 音頻流格式、VAD 打斷處理與 10/15 分鐘時長上限突破方案。

NNathaniel bigo··原創首發·AI 輔助撰寫
11 分鐘讀完
資料核對於 2026-11-18 · 依據官方文檔與公開資料整理 其他 帳號

結論先說

  1. Live API 走有狀態 WebSocket 雙向流,不再走單次 HTTP 請求:在 Python google-genai SDK 中通過異步上下文 async with client.aio.live.connect(...) 建立長連接,邊發麥克風流邊收語音包。
  2. 輸入輸出採樣率不對稱是最常見的變聲根源:官方要求客戶端上載音頻為 16-bit PCM、16 kHz、單聲道,而服務端下發的語音流固定為 24 kHz,播放端若按 16 kHz 播就會明顯慢放變粗。
  3. 原生支持隨時打斷(VAD),但前端必須配合清空隊列:服務端檢測到用戶開口插話時會中止生成並下發 interrupted 標記,客戶端收到後必須立刻停播本地尚未播完的音頻緩衝塊。
  4. 注意兩個硬時間邊界:單條 WebSocket 連接約 10 分鐘會斷開(提前下發 GoAway 預警);不開啟上下文壓縮時,純語音會話約 15 分鐘、音影片混合約 2 分鐘就會觸及窗口上限,長對話需同時打開 context_window_compression 與 session_resumption。
  5. 谷歌開發帳號與多工具訂閱入口:在 Google AI Studio 測試實時流與開通 API 需準備個人谷歌帳號,缺號可查看本站 谷歌帳號購買說明(含即買即發的 谷歌電郵成品號),跨平台主力編程會員總覽見 AI 會員充值中心。

Gemini Live API 會話與採樣規格表

圖:本站根據 Google Gemini API 文檔:Session management 整理的示意圖

本文根據 Google Gemini API 官方文檔《Get started with Live API》《Live API capabilities guide》《Session management》整理,資料核對於 2026-11-18。配圖為本站整理的示意圖,不是介面截圖。本站(bigolab.com)不是 Google 官方網站。

適用於誰

  • 想構建低延遲 AI 口語陪練、智能客服語音通話或實時共享螢幕/攝像頭視覺問答應用的開發者;
  • 接通了語音流但聽起來像倍速變調噪音,或者用戶一插話前端還在繼續念舊台詞的人;
  • 遇到通話剛滿 2 分鐘或 10 分鐘就莫名斷線,不清楚上下文壓縮與會話重連機制的工程團隊。

一、最小可用異步連接與音色配置示例

若只想零代碼體驗官方實時語音畫面,可先進入網頁工作台試跑(入門見 Google AI Studio 怎麼用,若在手機 App 遇到語音不可用見 Gemini 語音對話用不了怎麼辦)。進入代碼開發時,先安裝 google-genai(環境準備見 Gemini API Python 調用教學),最小異步文本入、音頻出閉環如下:

python
import asyncio
from google import genai
from google.genai import types

client = genai.Client()
MODEL = "gemini-2.5-flash-native-audio-preview-09-2025"  # 以官方當前支持 bidiGenerateContent 的模型為準

config = types.LiveConnectConfig(
    response_modalities=["AUDIO"],
    speech_config=types.SpeechConfig(
        voice_config=types.VoiceConfig(
            prebuilt_voice_config=types.PrebuiltVoiceConfig(voice_name="Puck")
        )
    ),
    system_instruction="你是一名語速精煉的中文技術顧問,每次回答不超過三句話。",
)

async def main():
    async with client.aio.live.connect(model=MODEL, config=config) as session:
        await session.send_client_content(
            turns={"role": "user", "parts": [{"text": "用兩句話解釋什麼是 WebSocket"}]},
            turn_complete=True,
        )
        async for response in session.receive():
            if response.data is not None:
                # response.data 為 24kHz 16-bit 單聲道原始 PCM 字節流,送入本地聲卡隊列即可播放
                print(f"收到音頻分片: {len(response.data)} bytes")

asyncio.run(main())

實時發送麥克風流與攝像頭幀時,改調 await session.send_realtime_input(audio=types.Blob(data=pcm_bytes, mime_type="audio/pcm;rate=16000"));傳影片畫面則按每秒約 1 幀 把壓縮後的 image/jpeg 幀持續送入同一方法即可。

二、自然打斷檢測(VAD)與防回聲自激要點

Live API 預設在服務端開啟了自動語音活動檢測(Voice Activity Detection),無需客戶端手動切分「按住說話、鬆開發送」:

  1. 客戶端即時清空播放隊列:當模型正在朗讀長段回覆而用戶突然開口說「停一下,換個方案」時,服務端會立即切斷當前生成流,並在消息中返回 response.server_content.interrupted == True。你的前端播放器一旦讀到該布爾值,必須立刻丟棄內存裏排隊的剩餘 PCM 音頻塊,否則用戶會覺得打斷慢半拍。
  2. 必須開啟硬件或瀏覽器回聲消除(AEC):如果用戶不戴耳機直接外放,揚聲器播出的模型聲音又會被麥克風錄進去當成用戶插話,導致模型自己打斷自己。Web 端採集麥克風時務必在 getUserMedia 開啟 echoCancellation: true 與 noiseSuppression: true。
  3. 手動按鍵說話場景可關閉自動 VAD:在嘈雜展會或對講機交互場景下,可通過 realtime_input_config 關閉服務端自動活動檢測,改由客戶端顯式發送 activity_start 與 activity_end 信號精準控場。
谷歌開發帳號與主力編程訂閱提示:調試 Gemini Live API 與綁定按量結算需要狀態正常的個人谷歌帳號,若註冊卡在手機驗證可在本站選購帶 2FA 的 谷歌電郵成品號(說明見 谷歌帳號購買頁);日常編寫 WebAudio 前端流處理與異步後端代碼,還可搭配 Claude Code 或 ChatGPT Plus。

Gemini Live 斷連與打斷異常排查

圖:本站根據 Google Gemini API 文檔:Live API capabilities guide 整理的示意圖

三、突破 2 分鐘 / 10 分鐘 / 15 分鐘限制:壓縮與重連

很多團隊上線後發現客服電話聊到第 10 分鐘準時掉線,或者開了攝像頭共享螢幕 2 分鐘就報錯退出,根源在於官方的會話窗口與連接週期雙重限制(音頻與影片每秒折算的 Token 成本見 Gemini API 價格說明):

  • 突破 15 分鐘音頻 / 2 分鐘音影片上下文上限:在 LiveConnectConfig 中配置 context_window_compression=types.ContextWindowCompressionConfig(sliding_window=types.SlidingWindow())。開啟滑動窗口壓縮後,當歷史流接近閾值時系統會自動裁剪早期片段,使會話時長不再受硬上限封頂。
  • 跨過 10 分鐘單條 WebSocket 壽命上限:開啟 session_resumption=types.SessionResumptionConfig(handle=saved_handle)。服務端會在對話期間不斷下發最新恢復句柄(session_resumption_update.new_handle),並在連接即將滿 10 分鐘斷開前約 60 秒發送 go_away 通知;客戶端緩存最新 handle 發起新連接即可無縫續上剛才的對話上下文。

常見問題

問:為了降低延遲,能不能在 React / 小程式前端直接拿 API Key 連 Gemini 的 WebSocket?

答:嚴禁直接把主 GEMINI_API_KEY 放進前端代碼,任何人打開瀏覽器抓包都能盜刷你的帳單。官方提供兩種合規架構:一是由你自己的後端伺服器做 WebSocket 中繼轉發;二是由你的後端調用官方臨時令牌(Ephemeral Tokens)接口簽發僅單次會話有效、幾分鐘過期的受限短令牌交給前端直連。

問:Live API 裏還能同時掛載 Function Calling 查業務數據庫或調聯網搜尋嗎?

答:支持。你可以在 LiveConnectConfig 的 tools 裏聲明自定義函數或 google_search;當語音對話觸發工具調用時,服務端會下發 response.tool_call,你的代碼執行完本地查詢後再通過 session.send_tool_response(...) 把結果喂回實時流即可。

問:為什麼攝像頭傳的是 30 幀高清影片,模型卻看不清快速閃過的動作?

答:Live API 底層按約每秒 1 幀(1 FPS)的節奏採樣視覺幀,更適合展示靜態文檔、桌面介面、商品外觀或緩慢移動的場景,不適合分析毫秒級高速運動畫面。

問:沒有外幣卡怎麼買谷歌帳號或開通 Claude Code、ChatGPT Plus 輔助開發,支持開發票嗎?

答:可前往本站 谷歌帳號購買頁、Claude Code 充值頁 或 AI 會員充值總覽 自助選購,支持支付寶、微信支付及 AlipayHK 付款,會員充值支持免交密碼卡密兌換,企業團隊可申請開具國內增值稅發票;實時價格與售後細則(掉訂閱按剩餘天數折退,封號不在質保範圍)以頁面展示為準。

相關教學

參考資料

  • Google Gemini API 官方文檔:Get started with Live API — https://ai.google.dev/gemini-api/docs/live
  • Google Gemini API 官方文檔:Live API capabilities guide — https://ai.google.dev/gemini-api/docs/live-guide
  • Google Gemini API 官方文檔:Live API session management — https://ai.google.dev/gemini-api/docs/live-session

Nathaniel 的更多內容

  1. 01

    獨立開發者用 ChatGPT + Codex 跑通產品全流程:市場驗證、PRD、原型到代碼上線覆盤清單

    單人做獨立產品最容易陷入「閉門寫兩個月代碼上線零用戶」或「AI 寫到一半目錄越改越崩」。本文整理「ChatGPT 負責市場驗證、PRD 與覆盤 + Codex 負責工程實現與測試」的五階段雙軌流程,附起手提示詞與 7 項上線覆盤清單。

    ChatGPTCodex0
  2. 02

    用 ChatGPT 批量生成規範文件命名規則、整理混亂目錄樹與合併零散發票抬頭清單腳本

    面對滿桌面的「新建文件夾」「最終版2」和上百張零散電子發票,手工改名抄台帳耗時又容易漏重。本文分享先脫敏取樣、再用 ChatGPT 生成帶預演和回滾日誌的本地 Python 腳本,離線安全完成目錄整理與發票抬頭合併去重的實戰流程。

    ChatGPT0
  3. 03

    用 ChatGPT 做海外電郵營銷(EDM)受眾分層文案、A/B 主題行測試與防進垃圾箱自檢

    做海外獨立站或出海 SaaS 電郵營銷(EDM),最怕千人一面群發被直接送進垃圾箱。本文結合 Gmail/Yahoo 批量發件人規範,梳理用 ChatGPT 設計受眾分層文案、批量生成 A/B 主題行矩陣並開展發前垃圾詞與合規自檢的實戰提示詞。

    ChatGPT0
  4. 04

    用 ChatGPT 寫 Notion Formula 2.0 公式、Obsidian Dataview 查詢與 Airtable 自動化腳本

    給 Notion 數據庫寫多條件 Formula 2.0 公式、給 Obsidian 寫 Dataview 動態看板,或在 Airtable 裏寫自動化腳本,經常因為一個小括號或類型不匹配報錯半天。本文整理三大工具的通用上下文喂料規範與三套直接可複製的生成提示詞。

    ChatGPT其他 AI 工具0
  5. 05

    用 ChatGPT 處理複雜 JSON / YAML / XML 字段映射、格式轉換與校驗規則編寫實戰

    對接第三方 API、遷移 Kubernetes 配置或解析政企 XML 報文時,手工對照幾百行嵌套字段既慢又容易漏掉空值與類型邊界。本文整理用 ChatGPT 完成字段映射表梳理、生成確定性轉換腳本以及編寫 JSON Schema / Pydantic / XSD 校驗規則的實戰流。

    ChatGPT其他 AI 工具0
  6. 06

    用 ChatGPT 準備本科/碩士畢業論文答辯:提煉答辯 PPT 結構、模擬導師犀利追問與 3 分鐘自述稿

    畢業論文寫完後,要在 3–5 分鐘內講清研究價值並頂住答辯評委的連環追問並不輕鬆。本文整理在嚴格遵守高校學術規範的前提下,用 ChatGPT 提煉答辯 PPT 結構、打磨 3 分鐘口語自述稿並開展模擬導師犀利追問的排練流程與提示詞。

    ChatGPT0

同模型

  1. 01

    用 Google Takeout 單獨備份導出 NotebookLM 筆記本與 Gemini 記錄:只勾選指定服務不下載整個雲端硬碟的步驟

    想把 NotebookLM 裏的幾十個研究筆記本、來源副本與音頻概覽,連同 Gemini 聊天記錄一起備份到本地,又怕 Google Takeout 把整個雲端硬碟和相冊全打包?本文講清先取消全選、精準勾選兩項服務、解壓目錄查看與跨號遷移的做法。

    Gemini0
  2. 02

    Google Workspace 企業/教育版管理員怎麼在後台給成員開啟 Gemini 應用、NotebookLM 與設定年齡訪問權限

    團隊成員或學校師生登入 Google Workspace 帳號時提示無權使用 Gemini 或打不開 NotebookLM?本文按 Google 管理控制檯官方文檔整理服務開關路徑、組織部門(OU)與群組放行、18 歲年齡訪問權限設定及對話保留合規配置。

    Gemini0
  3. 03

    安卓手機預設助手換成 Gemini 後設鬧鐘、發短訊或控制智能家居失靈怎麼辦:Workspace 與實用程序擴展開啟步驟

    安卓手機把預設語音助手從 Google Assistant 換成 Gemini 後,喊它定鬧鐘、開手電筒、發短訊或開關智能燈全都沒反應?本文按官方幫助中心整理實用程序(Utilities)、Google Home 與 Workspace 關聯應用開啟步驟及鎖屏放行設定。

    Gemini0
  4. 04

    Gemini 寫長代碼或長文檔到一半突然停住、格式截斷怎麼無縫續寫:錨點接續指令與 Canvas 分塊修改技巧

    讓 Gemini 寫幾百行代碼或萬字長文時經常寫到一半突然停住、Markdown 代碼塊沒閉合,直接回「繼續」又重頭抄一遍?本文整理字面錨點續寫指令、代碼塊防亂碼補齊法與 Canvas 局部圈選修改工作流。

    Gemini0
  5. 05

    NotebookLM 中文音頻播客(Audio Overview)高階玩法:用自定義引導詞控制對談深度、受眾水平與重點章節(附模板)

    NotebookLM 生成的中文音頻播客總是泛泛而談、漏掉核心章節或夾雜生僻英文縮寫?本文按官方幫助中心整理來源勾選過濾、四種播客格式搭配與三維自定義引導詞寫法,附 4 套可直接複製的中文控場模板。

    Gemini0
  6. 06

    NotebookLM 添加 YouTube 影片、網頁或掃描版 PDF 提示「無法導入來源」怎麼辦:無字幕、反爬與純圖 PDF 逐項解決

    往 NotebookLM(Gemini Notebook)塞 YouTube 連結、外文網頁或掃描教材時總是亮紅歎號提示無法導入來源?本文按官方幫助中心逐項排查無字幕影片、反爬動態頁與加密純圖 PDF 的替代導入步驟。

    Gemini0

同產品的其他教學

  1. 01

    iPhone 操作按鈕(Action Button)或鎖屏小組件一鍵開啟 ChatGPT / Gemini 實時語音對話配置教學

    每次在 iPhone 上練口語或語音提問都要解鎖、找圖標、再點耳機按鈕太繁瑣?本文整理利用 iPhone 操作按鈕(Action Button)、iOS 18 鎖屏底部控制項、控制中心與背面輕點一鍵直達 ChatGPT 實時語音或 Gemini Live 的完整步驟。

    ChatGPTGemini0
  2. 02

    Firebase Studio(原 Project IDX)是什麼、怎麼用:瀏覽器雲端全棧開發環境搭配 Gemini 智能體實戰

    以前收藏的 Project IDX 網址為什麼跳到了 Firebase Studio?本文按 Google 官方文檔講清它的全棧雲端定位、App Prototyping 原型智能體、Code 視圖切換、.idx/dev.nix 環境定製與免費工作區上限。

    Gemini其他 AI 工具0
  3. 03

    Google Colab 內置 Gemini 編程助手怎麼用:免費雲端 GPU 筆記本自動生成數據分析代碼、修報錯與限額說明

    不用配本地 Python 環境,怎麼在 Google Colab 雲端筆記本里免費用 Gemini 自動寫數據分析代碼、一鍵修復紅字報錯並跑 Data Science Agent?本文整理四大入口用法、Secrets 密鑰管理與免費版限額。

    Gemini其他 AI 工具0
  4. 04

    Gemini API Token 計數(count_tokens)與多模態計費規則:圖片解像度、音頻秒數與影片幀率怎麼折算 Token

    傳一張高清截圖或一段 10 分鐘影片給 Gemini API 到底扣多少 Token?本文按官方文檔拆解 258 圖片切片、每秒 32 音頻與每秒 263 影片折算公式,附 count_tokens 免費預估與降本代碼。

    Gemini0
  5. 05

    Gemini API 回答被安全策略攔截(SAFETY / PROHIBITED_CONTENT)怎麼辦:閾值調節邊界與合規提示詞排查

    調用 Gemini API 翻譯文檔或分析安全日誌時返回空白、報 finish_reason: SAFETY 或 PROHIBITED_CONTENT 怎麼辦?本文詳解四類可調安全閾值代碼寫法、不可關閉的硬性紅線區別與誤報排查步驟。

    Gemini0
  6. 06

    Gemini API 圖像生成與多輪改圖怎麼調:用 google-genai SDK 出圖、局部修改與寬高比控制參數

    怎麼用 Python 代碼調用 Gemini API 生成高清配圖並像聊天一樣連續局部改圖?本文詳解 google-genai SDK 原生生圖代碼、多輪對話改圖、參考圖融合與 aspect_ratio 寬高比配置。

    Gemini0

0 條評論

登入 後參與評論

還沒有評論,來搶沙發~