結論先說
- 這是客戶端執行的內置模式工具:Anthropic 在模型側內置了工具定義與螢幕像素座標識別能力,但真正的虛擬桌面、截圖程序和鍵鼠驅動必須跑在你自己控制的隔離環境裏。
- 核心運行原理是「截圖 → 算座標發指令 → 執行並再截圖」的循環:模型每次返回
screenshot、left_click、type、scroll或局部放大zoom等動作,你的代碼執行後把最新畫面通過tool_result傳回去。 - 聲明解像度必須與傳入截圖的實際像素嚴絲合縫:工具參數裏的
display_width_px和display_height_px一旦和回傳圖片的寬高不一致,模型算出的點擊座標就會整體偏移。 - 嚴禁直接跑在日常辦公宿主機上:官方反覆強調必須放進最小權限的獨立 Docker 容器或虛擬機中運行,限制外網白名單,並在支付、發信、刪數據等不可逆步驟加人工審批。
- 國內免卡開通與帳號服務入口:自有帳號免上號自助開通可見本站 Claude Pro 充值頁 與 Claude Max 充值頁;缺可用帳號或遇身份核驗可查看 Claude 註冊說明 與 Claude KYC 認證協助。

圖:本站根據 Claude 官方文檔:Computer use tool 整理的示意圖
本文根據 Claude 開發者平台官方文檔《Computer use tool》整理,資料核對於 2026-11-18。配圖為本站整理的示意圖,不是介面截圖。本站(bigolab.com)不是 Anthropic 官方網站。
適用於誰
- 搜「claude computer use 怎麼用」,想用 API 讓模型自動操作沒有開放接口的遺留桌面軟件或網頁後台的開發者;
- 搞不清 Computer Use 是 Anthropic 雲端替你點滑鼠,還是要在自己機器上搭虛擬桌面的工程師;
- 調通了截圖回傳,卻遇到滑鼠總是點歪半截、或者擔心提示詞注入帶來安全風險的人。
如果你只需要讓模型在雲端沙盒裏跑 Python 腳本分析數據,用服務端託管的 /guides/claude-api-code-execution-tool 更快更省錢;只有必須依賴圖形介面(GUI)點擊時再上 Computer Use。
一、工作原理與工具選型優先級
和需要你自己手寫 JSON Schema 的普通函數調用(見 /guides/claude-tool-use-basics)不同,Computer Use 屬於 Anthropic 定義 Schema、客戶端負責執行 的標準工具。你只需要在請求裏指定工具類型(如 computer_20251124 或新版工具集配置)和螢幕像素尺寸,模型就會自動啟用經過專門訓練的視覺定位能力。
一個完整的智能體循環(Agent loop)按以下順序運轉:
- 你的程序向 Messages API 發送任務目標與
computer工具聲明; - Claude 通常先請求一次
action: "screenshot"觀察當前桌面長什麼樣; - 你的程序在虛擬顯示器(如 Linux
Xvfb)裏抓屏,把 Base64 編碼的 PNG 圖片放進tool_result發回給 Claude(圖片格式要求與視覺計費規則見 /guides/claude-api-image-input); - Claude 根據畫面計算出按鈕像素座標(例如
[512, 340]),返回left_click、type或key等動作;遇到密集小字看不清時,支持啟用zoom動作的模型還會先請求截取局部區域的無損原圖看清後再點; - 循環往復,直到任務完成、模型不再發出新的
tool_use為止。
官方同時給出了明確的工具選型優先級:有原生 API 或 MCP 接口先調接口 → 能用 Bash 與文件編輯解決的走命令行 → 純網頁自動化優先用 Playwright 等結構化工具 → 最後才用 Computer Use 兜底圖形介面。因為每一輪迴傳全屏截圖都會消耗可觀的圖像 token 並增加推理耗時。
二、API 調用格式與解像度對齊鐵律
調用時必須同時對齊三件事:模型型號、工具版本標識(type)與對應的 anthropic-beta 請求頭。按官方文檔整理的 Python 請求示例:
python
import anthropic
client = anthropic.Anthropic()
response = client.beta.messages.create(
model="claude-opus-5-5",
max_tokens=2048,
tools=[
{
"type": "computer_20251124",
"name": "computer",
"display_width_px": 1024,
"display_height_px": 768,
"display_number": 1,
}
],
messages=[
{"role": "user", "content": "先截取當前桌面,打開瀏覽器並進入本地測試後台首頁。"}
],
betas=["computer-use-2025-11-24"],
)
for block in response.content:
if block.type == "tool_use":
print(block.name, block.input)
聯調時最容易踩的坑是點擊座標偏移,請嚴格核對兩條規則:
- 優先使用官方推薦的中等解像度:如
1024×768(XGA)或1280×800(WXGA)。直接傳 4K 超高清全屏截圖不僅讓每輪輸入 token 翻倍,超出視覺模型內部縮放上限後還會被服務端壓縮,反而降低小圖標點擊精度; - 兩邊像素必須一比一對應:如果你在宿主機高分屏(如 Retina 2x 縮放)截出了
2048×1536的圖,必須在發給 API 前先縮放到1024×768,或者在把模型返回的座標交給xdotool/ 滑鼠驅動前按同樣比例換算回去。
Claude 會員充值與成品號提示:國內銀行卡在結帳頁被拒時,可通過本站支付寶、微信支付或 AlipayHK 獲取 iOS 訂閱卡密自助開通 Claude Pro 或高配額 Claude Max(全程無需上號交密碼);需要現成帳號可了解 Claude Pro 成品號 與 Claude Max 5x 成品號(注:Anthropic 消費者條款禁止共享轉讓帳號且違規可終止無退款,成品號均明確標註不質保封號)。
三、容器隔離與防提示詞注入安全要求
由於擁有鍵鼠控制權的智能體一旦看走眼或被螢幕上的惡意文字誘導,破壞力遠大於純文本對話,官方文檔專門列出了生產環境安全規範:

圖:本站根據 Claude 官方文檔:Computer use tool 整理的示意圖
- 強制跑在隔離容器或虛擬機裏:可直接使用 Anthropic 官方開源的參考 Docker 鏡像(內置
Xvfb、窗口管理器與 VNC 預覽端口),絕不要把你的個人電腦主桌面、已登入的私人電郵、網銀或生產雲控制檯暴露給智能體; - 防範螢幕提示詞注入(Prompt injection):網頁彈窗、電郵正文甚至一張圖片裏都可能藏着誘導文字(如偽裝成系統提示讓模型打開終端外發文件)。容器層面應配置嚴格的網絡出站白名單,只放行任務必需的域名;
- 高風險動作加人工確認(Human-in-the-loop):提交訂單、發送外部消息、修改權限或刪除記錄前,在客戶端代碼裏掛起循環,彈窗讓真人在 VNC 畫面裏確認後再放行;
- 控制循環上限防死鎖:當桌面彈窗卡死導致模型連續重試同一點擊時,沒有輪次上限會迅速燒空餘額。務必在循環外層設好
max_iterations上限。
如果你並非要從零開發一套桌面控制後端,只是希望讓 Claude 在你本地瀏覽器裏輔助點頁面做日常網頁操作,直接搭配官方 Chrome 擴展(見 /guides/claude-in-chrome)和付費訂閱(如本站 Claude Max 充值頁 或 Pro 檔位)即可開箱使用,不必自己維護 Docker 虛擬桌面。
常見問題
問:為什麼模型請求了 left_click,點完之後卻不知道彈窗已經打開了?
答:每次執行完點擊、輸入或滾動動作後,介面往往有幾百毫秒的渲染或網絡加載延遲。建議客戶端在執行完鍵鼠動作後稍作等待(例如 0.5 到 1 秒),再抓取最新螢幕截圖放進同一個 tool_result 一併回傳,避免模型看到點擊前的舊殘影。
問:Computer Use 可以和 Bash、Text Editor 工具一起掛在同一請求裏嗎?
答:可以,這也是官方參考實現裏的標準搭配。文件讀寫和啟動程序交給 Bash 與 Text Editor 處理,只有必須點介面的步驟才動用 computer 工具,速度與成功率都會高很多。
問:遇到小字號表格或密集按鈕總是點不準怎麼辦?
答:在支持 computer_20251124(配合 enable_zoom: true)或新版 computer_toolset 的模型上開啟 zoom 能力,讓模型先框選目標局部區域查看原始高清解像度,確認準確位置後再執行點擊。
問:人在國內沒有外幣信用卡,怎麼訂閱或升級 Claude 付費套餐?
答:可在本站 AI 會員充值總覽頁 選擇 Claude Pro 自助充值 或 Claude Max 充值,付款後即時發卡密、24 小時自助兌換且可開具增值稅發票;實時價格與售後邊界(含封號不質保)以商品頁當天展示為準。
相關教學
- Claude Tool Use(工具調用 / Function Calling)入門:定義工具與返回 tool_result
- Claude API 圖片輸入(vision)怎麼傳:base64、url、file_id 與 token 計算
- Claude API 代碼執行工具(code execution)怎麼用
- Claude in Chrome 擴展怎麼用:安裝、權限與安全提示
參考資料
- Claude 開發者平台文檔:Computer use tool — https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool
0 條評論
還沒有評論,來搶沙發~