結論先說
- Live API 走有狀態 WebSocket 雙向流,不再走單次 HTTP 請求:在 Python
google-genaiSDK 中通過異步上下文async with client.aio.live.connect(...)建立長連接,邊發麥克風流邊收語音包。 - 輸入輸出採樣率不對稱是最常見的變聲根源:官方要求客戶端上載音頻為
16-bit PCM、16 kHz、單聲道,而服務端下發的語音流固定為24 kHz,播放端若按 16 kHz 播就會明顯慢放變粗。 - 原生支持隨時打斷(VAD),但前端必須配合清空隊列:服務端檢測到用戶開口插話時會中止生成並下發
interrupted標記,客戶端收到後必須立刻停播本地尚未播完的音頻緩衝塊。 - 注意兩個硬時間邊界:單條 WebSocket 連接約 10 分鐘會斷開(提前下發
GoAway預警);不開啟上下文壓縮時,純語音會話約 15 分鐘、音影片混合約 2 分鐘就會觸及窗口上限,長對話需同時打開context_window_compression與session_resumption。 - 谷歌開發帳號與多工具訂閱入口:在 Google AI Studio 測試實時流與開通 API 需準備個人谷歌帳號,缺號可查看本站 谷歌帳號購買說明(含即買即發的 谷歌電郵成品號),跨平台主力編程會員總覽見 AI 會員充值中心。

圖:本站根據 Google Gemini API 文檔:Session management 整理的示意圖
本文根據 Google Gemini API 官方文檔《Get started with Live API》《Live API capabilities guide》《Session management》整理,資料核對於 2026-11-18。配圖為本站整理的示意圖,不是介面截圖。本站(bigolab.com)不是 Google 官方網站。
適用於誰
- 想構建低延遲 AI 口語陪練、智能客服語音通話或實時共享螢幕/攝像頭視覺問答應用的開發者;
- 接通了語音流但聽起來像倍速變調噪音,或者用戶一插話前端還在繼續念舊台詞的人;
- 遇到通話剛滿 2 分鐘或 10 分鐘就莫名斷線,不清楚上下文壓縮與會話重連機制的工程團隊。
一、最小可用異步連接與音色配置示例
若只想零代碼體驗官方實時語音畫面,可先進入網頁工作台試跑(入門見 Google AI Studio 怎麼用,若在手機 App 遇到語音不可用見 Gemini 語音對話用不了怎麼辦)。進入代碼開發時,先安裝 google-genai(環境準備見 Gemini API Python 調用教學),最小異步文本入、音頻出閉環如下:
python
import asyncio
from google import genai
from google.genai import types
client = genai.Client()
MODEL = "gemini-2.5-flash-native-audio-preview-09-2025" # 以官方當前支持 bidiGenerateContent 的模型為準
config = types.LiveConnectConfig(
response_modalities=["AUDIO"],
speech_config=types.SpeechConfig(
voice_config=types.VoiceConfig(
prebuilt_voice_config=types.PrebuiltVoiceConfig(voice_name="Puck")
)
),
system_instruction="你是一名語速精煉的中文技術顧問,每次回答不超過三句話。",
)
async def main():
async with client.aio.live.connect(model=MODEL, config=config) as session:
await session.send_client_content(
turns={"role": "user", "parts": [{"text": "用兩句話解釋什麼是 WebSocket"}]},
turn_complete=True,
)
async for response in session.receive():
if response.data is not None:
# response.data 為 24kHz 16-bit 單聲道原始 PCM 字節流,送入本地聲卡隊列即可播放
print(f"收到音頻分片: {len(response.data)} bytes")
asyncio.run(main())
實時發送麥克風流與攝像頭幀時,改調 await session.send_realtime_input(audio=types.Blob(data=pcm_bytes, mime_type="audio/pcm;rate=16000"));傳影片畫面則按每秒約 1 幀 把壓縮後的 image/jpeg 幀持續送入同一方法即可。
二、自然打斷檢測(VAD)與防回聲自激要點
Live API 預設在服務端開啟了自動語音活動檢測(Voice Activity Detection),無需客戶端手動切分「按住說話、鬆開發送」:
- 客戶端即時清空播放隊列:當模型正在朗讀長段回覆而用戶突然開口說「停一下,換個方案」時,服務端會立即切斷當前生成流,並在消息中返回
response.server_content.interrupted == True。你的前端播放器一旦讀到該布爾值,必須立刻丟棄內存裏排隊的剩餘 PCM 音頻塊,否則用戶會覺得打斷慢半拍。 - 必須開啟硬件或瀏覽器回聲消除(AEC):如果用戶不戴耳機直接外放,揚聲器播出的模型聲音又會被麥克風錄進去當成用戶插話,導致模型自己打斷自己。Web 端採集麥克風時務必在
getUserMedia開啟echoCancellation: true與noiseSuppression: true。 - 手動按鍵說話場景可關閉自動 VAD:在嘈雜展會或對講機交互場景下,可通過
realtime_input_config關閉服務端自動活動檢測,改由客戶端顯式發送activity_start與activity_end信號精準控場。
谷歌開發帳號與主力編程訂閱提示:調試 Gemini Live API 與綁定按量結算需要狀態正常的個人谷歌帳號,若註冊卡在手機驗證可在本站選購帶 2FA 的 谷歌電郵成品號(說明見 谷歌帳號購買頁);日常編寫 WebAudio 前端流處理與異步後端代碼,還可搭配 Claude Code 或 ChatGPT Plus。

圖:本站根據 Google Gemini API 文檔:Live API capabilities guide 整理的示意圖
三、突破 2 分鐘 / 10 分鐘 / 15 分鐘限制:壓縮與重連
很多團隊上線後發現客服電話聊到第 10 分鐘準時掉線,或者開了攝像頭共享螢幕 2 分鐘就報錯退出,根源在於官方的會話窗口與連接週期雙重限制(音頻與影片每秒折算的 Token 成本見 Gemini API 價格說明):
- 突破 15 分鐘音頻 / 2 分鐘音影片上下文上限:在
LiveConnectConfig中配置context_window_compression=types.ContextWindowCompressionConfig(sliding_window=types.SlidingWindow())。開啟滑動窗口壓縮後,當歷史流接近閾值時系統會自動裁剪早期片段,使會話時長不再受硬上限封頂。 - 跨過 10 分鐘單條 WebSocket 壽命上限:開啟
session_resumption=types.SessionResumptionConfig(handle=saved_handle)。服務端會在對話期間不斷下發最新恢復句柄(session_resumption_update.new_handle),並在連接即將滿 10 分鐘斷開前約 60 秒發送go_away通知;客戶端緩存最新handle發起新連接即可無縫續上剛才的對話上下文。
常見問題
問:為了降低延遲,能不能在 React / 小程式前端直接拿 API Key 連 Gemini 的 WebSocket?
答:嚴禁直接把主 GEMINI_API_KEY 放進前端代碼,任何人打開瀏覽器抓包都能盜刷你的帳單。官方提供兩種合規架構:一是由你自己的後端伺服器做 WebSocket 中繼轉發;二是由你的後端調用官方臨時令牌(Ephemeral Tokens)接口簽發僅單次會話有效、幾分鐘過期的受限短令牌交給前端直連。
問:Live API 裏還能同時掛載 Function Calling 查業務數據庫或調聯網搜尋嗎?
答:支持。你可以在 LiveConnectConfig 的 tools 裏聲明自定義函數或 google_search;當語音對話觸發工具調用時,服務端會下發 response.tool_call,你的代碼執行完本地查詢後再通過 session.send_tool_response(...) 把結果喂回實時流即可。
問:為什麼攝像頭傳的是 30 幀高清影片,模型卻看不清快速閃過的動作?
答:Live API 底層按約每秒 1 幀(1 FPS)的節奏採樣視覺幀,更適合展示靜態文檔、桌面介面、商品外觀或緩慢移動的場景,不適合分析毫秒級高速運動畫面。
問:沒有外幣卡怎麼買谷歌帳號或開通 Claude Code、ChatGPT Plus 輔助開發,支持開發票嗎?
答:可前往本站 谷歌帳號購買頁、Claude Code 充值頁 或 AI 會員充值總覽 自助選購,支持支付寶、微信支付及 AlipayHK 付款,會員充值支持免交密碼卡密兌換,企業團隊可申請開具國內增值稅發票;實時價格與售後細則(掉訂閱按剩餘天數折退,封號不在質保範圍)以頁面展示為準。
相關教學
- Gemini API Python 調用教學:安裝 google-genai SDK、流式輸出與多輪對話
- Gemini 語音對話(Live)用不了怎麼辦:網頁版與手機權限官方說明
- Gemini API 價格:各模型每百萬 tokens 多少錢、免費層和付費層差在哪
- Google AI Studio 怎麼用:介面入口、選模型、發第一條提示與獲取代碼
參考資料
- Google Gemini API 官方文檔:Get started with Live API — https://ai.google.dev/gemini-api/docs/live
- Google Gemini API 官方文檔:Live API capabilities guide — https://ai.google.dev/gemini-api/docs/live-guide
- Google Gemini API 官方文檔:Live API session management — https://ai.google.dev/gemini-api/docs/live-session
0 條評論
還沒有評論,來搶沙發~