Claude API Computer Use 工具怎麼用:截圖鍵鼠控制原理、容器隔離安全要求與調用格式

想讓 Claude 像人一樣看螢幕截圖、移動滑鼠和敲鍵盤操作桌面軟件?本文按官方 Computer use tool 文檔,講清視覺座標映射原理、Docker 容器安全隔離要求、API 請求格式與點擊偏移排查。

NNathaniel bigo··原創首發·AI 輔助撰寫
11 分鐘讀完
資料核對於 2026-11-18 · 依據官方文檔與公開資料整理 其他 帳號

結論先說

  1. 這是客戶端執行的內置模式工具:Anthropic 在模型側內置了工具定義與螢幕像素座標識別能力,但真正的虛擬桌面、截圖程序和鍵鼠驅動必須跑在你自己控制的隔離環境裏。
  2. 核心運行原理是「截圖 → 算座標發指令 → 執行並再截圖」的循環:模型每次返回 screenshot、left_click、type、scroll 或局部放大 zoom 等動作,你的代碼執行後把最新畫面通過 tool_result 傳回去。
  3. 聲明解像度必須與傳入截圖的實際像素嚴絲合縫:工具參數裏的 display_width_px 和 display_height_px 一旦和回傳圖片的寬高不一致,模型算出的點擊座標就會整體偏移。
  4. 嚴禁直接跑在日常辦公宿主機上:官方反覆強調必須放進最小權限的獨立 Docker 容器或虛擬機中運行,限制外網白名單,並在支付、發信、刪數據等不可逆步驟加人工審批。
  5. 國內免卡開通與帳號服務入口:自有帳號免上號自助開通可見本站 Claude Pro 充值頁 與 Claude Max 充值頁;缺可用帳號或遇身份核驗可查看 Claude 註冊說明 與 Claude KYC 認證協助。

Computer Use 截圖與鍵鼠循環四步

圖:本站根據 Claude 官方文檔:Computer use tool 整理的示意圖

本文根據 Claude 開發者平台官方文檔《Computer use tool》整理,資料核對於 2026-11-18。配圖為本站整理的示意圖,不是介面截圖。本站(bigolab.com)不是 Anthropic 官方網站。

適用於誰

  • 搜「claude computer use 怎麼用」,想用 API 讓模型自動操作沒有開放接口的遺留桌面軟件或網頁後台的開發者;
  • 搞不清 Computer Use 是 Anthropic 雲端替你點滑鼠,還是要在自己機器上搭虛擬桌面的工程師;
  • 調通了截圖回傳,卻遇到滑鼠總是點歪半截、或者擔心提示詞注入帶來安全風險的人。

如果你只需要讓模型在雲端沙盒裏跑 Python 腳本分析數據,用服務端託管的 /guides/claude-api-code-execution-tool 更快更省錢;只有必須依賴圖形介面(GUI)點擊時再上 Computer Use。

一、工作原理與工具選型優先級

和需要你自己手寫 JSON Schema 的普通函數調用(見 /guides/claude-tool-use-basics)不同,Computer Use 屬於 Anthropic 定義 Schema、客戶端負責執行 的標準工具。你只需要在請求裏指定工具類型(如 computer_20251124 或新版工具集配置)和螢幕像素尺寸,模型就會自動啟用經過專門訓練的視覺定位能力。

一個完整的智能體循環(Agent loop)按以下順序運轉:

  1. 你的程序向 Messages API 發送任務目標與 computer 工具聲明;
  2. Claude 通常先請求一次 action: "screenshot" 觀察當前桌面長什麼樣;
  3. 你的程序在虛擬顯示器(如 Linux Xvfb)裏抓屏,把 Base64 編碼的 PNG 圖片放進 tool_result 發回給 Claude(圖片格式要求與視覺計費規則見 /guides/claude-api-image-input);
  4. Claude 根據畫面計算出按鈕像素座標(例如 [512, 340]),返回 left_click、type 或 key 等動作;遇到密集小字看不清時,支持啟用 zoom 動作的模型還會先請求截取局部區域的無損原圖看清後再點;
  5. 循環往復,直到任務完成、模型不再發出新的 tool_use 為止。

官方同時給出了明確的工具選型優先級:有原生 API 或 MCP 接口先調接口 → 能用 Bash 與文件編輯解決的走命令行 → 純網頁自動化優先用 Playwright 等結構化工具 → 最後才用 Computer Use 兜底圖形介面。因為每一輪迴傳全屏截圖都會消耗可觀的圖像 token 並增加推理耗時。

二、API 調用格式與解像度對齊鐵律

調用時必須同時對齊三件事:模型型號、工具版本標識(type)與對應的 anthropic-beta 請求頭。按官方文檔整理的 Python 請求示例:

python
import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-5-5",
    max_tokens=2048,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        }
    ],
    messages=[
        {"role": "user", "content": "先截取當前桌面,打開瀏覽器並進入本地測試後台首頁。"}
    ],
    betas=["computer-use-2025-11-24"],
)

for block in response.content:
    if block.type == "tool_use":
        print(block.name, block.input)

聯調時最容易踩的坑是點擊座標偏移,請嚴格核對兩條規則:

  • 優先使用官方推薦的中等解像度:如 1024×768(XGA)或 1280×800(WXGA)。直接傳 4K 超高清全屏截圖不僅讓每輪輸入 token 翻倍,超出視覺模型內部縮放上限後還會被服務端壓縮,反而降低小圖標點擊精度;
  • 兩邊像素必須一比一對應:如果你在宿主機高分屏(如 Retina 2x 縮放)截出了 2048×1536 的圖,必須在發給 API 前先縮放到 1024×768,或者在把模型返回的座標交給 xdotool / 滑鼠驅動前按同樣比例換算回去。
Claude 會員充值與成品號提示:國內銀行卡在結帳頁被拒時,可通過本站支付寶、微信支付或 AlipayHK 獲取 iOS 訂閱卡密自助開通 Claude Pro 或高配額 Claude Max(全程無需上號交密碼);需要現成帳號可了解 Claude Pro 成品號 與 Claude Max 5x 成品號(注:Anthropic 消費者條款禁止共享轉讓帳號且違規可終止無退款,成品號均明確標註不質保封號)。

三、容器隔離與防提示詞注入安全要求

由於擁有鍵鼠控制權的智能體一旦看走眼或被螢幕上的惡意文字誘導,破壞力遠大於純文本對話,官方文檔專門列出了生產環境安全規範:

Computer Use 生產接入五條安全與精度底線

圖:本站根據 Claude 官方文檔:Computer use tool 整理的示意圖

  1. 強制跑在隔離容器或虛擬機裏:可直接使用 Anthropic 官方開源的參考 Docker 鏡像(內置 Xvfb、窗口管理器與 VNC 預覽端口),絕不要把你的個人電腦主桌面、已登入的私人電郵、網銀或生產雲控制檯暴露給智能體;
  2. 防範螢幕提示詞注入(Prompt injection):網頁彈窗、電郵正文甚至一張圖片裏都可能藏着誘導文字(如偽裝成系統提示讓模型打開終端外發文件)。容器層面應配置嚴格的網絡出站白名單,只放行任務必需的域名;
  3. 高風險動作加人工確認(Human-in-the-loop):提交訂單、發送外部消息、修改權限或刪除記錄前,在客戶端代碼裏掛起循環,彈窗讓真人在 VNC 畫面裏確認後再放行;
  4. 控制循環上限防死鎖:當桌面彈窗卡死導致模型連續重試同一點擊時,沒有輪次上限會迅速燒空餘額。務必在循環外層設好 max_iterations 上限。

如果你並非要從零開發一套桌面控制後端,只是希望讓 Claude 在你本地瀏覽器裏輔助點頁面做日常網頁操作,直接搭配官方 Chrome 擴展(見 /guides/claude-in-chrome)和付費訂閱(如本站 Claude Max 充值頁 或 Pro 檔位)即可開箱使用,不必自己維護 Docker 虛擬桌面。

常見問題

問:為什麼模型請求了 left_click,點完之後卻不知道彈窗已經打開了?

答:每次執行完點擊、輸入或滾動動作後,介面往往有幾百毫秒的渲染或網絡加載延遲。建議客戶端在執行完鍵鼠動作後稍作等待(例如 0.5 到 1 秒),再抓取最新螢幕截圖放進同一個 tool_result 一併回傳,避免模型看到點擊前的舊殘影。

問:Computer Use 可以和 Bash、Text Editor 工具一起掛在同一請求裏嗎?

答:可以,這也是官方參考實現裏的標準搭配。文件讀寫和啟動程序交給 Bash 與 Text Editor 處理,只有必須點介面的步驟才動用 computer 工具,速度與成功率都會高很多。

問:遇到小字號表格或密集按鈕總是點不準怎麼辦?

答:在支持 computer_20251124(配合 enable_zoom: true)或新版 computer_toolset 的模型上開啟 zoom 能力,讓模型先框選目標局部區域查看原始高清解像度,確認準確位置後再執行點擊。

問:人在國內沒有外幣信用卡,怎麼訂閱或升級 Claude 付費套餐?

答:可在本站 AI 會員充值總覽頁 選擇 Claude Pro 自助充值 或 Claude Max 充值,付款後即時發卡密、24 小時自助兌換且可開具增值稅發票;實時價格與售後邊界(含封號不質保)以商品頁當天展示為準。

相關教學

參考資料

  • Claude 開發者平台文檔:Computer use tool — https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool

Nathaniel 的更多內容

  1. 01

    獨立開發者用 ChatGPT + Codex 跑通產品全流程:市場驗證、PRD、原型到代碼上線覆盤清單

    單人做獨立產品最容易陷入「閉門寫兩個月代碼上線零用戶」或「AI 寫到一半目錄越改越崩」。本文整理「ChatGPT 負責市場驗證、PRD 與覆盤 + Codex 負責工程實現與測試」的五階段雙軌流程,附起手提示詞與 7 項上線覆盤清單。

    ChatGPTCodex0
  2. 02

    用 ChatGPT 批量生成規範文件命名規則、整理混亂目錄樹與合併零散發票抬頭清單腳本

    面對滿桌面的「新建文件夾」「最終版2」和上百張零散電子發票,手工改名抄台帳耗時又容易漏重。本文分享先脫敏取樣、再用 ChatGPT 生成帶預演和回滾日誌的本地 Python 腳本,離線安全完成目錄整理與發票抬頭合併去重的實戰流程。

    ChatGPT0
  3. 03

    用 ChatGPT 做海外電郵營銷(EDM)受眾分層文案、A/B 主題行測試與防進垃圾箱自檢

    做海外獨立站或出海 SaaS 電郵營銷(EDM),最怕千人一面群發被直接送進垃圾箱。本文結合 Gmail/Yahoo 批量發件人規範,梳理用 ChatGPT 設計受眾分層文案、批量生成 A/B 主題行矩陣並開展發前垃圾詞與合規自檢的實戰提示詞。

    ChatGPT0
  4. 04

    用 ChatGPT 寫 Notion Formula 2.0 公式、Obsidian Dataview 查詢與 Airtable 自動化腳本

    給 Notion 數據庫寫多條件 Formula 2.0 公式、給 Obsidian 寫 Dataview 動態看板,或在 Airtable 裏寫自動化腳本,經常因為一個小括號或類型不匹配報錯半天。本文整理三大工具的通用上下文喂料規範與三套直接可複製的生成提示詞。

    ChatGPT其他 AI 工具0
  5. 05

    用 ChatGPT 處理複雜 JSON / YAML / XML 字段映射、格式轉換與校驗規則編寫實戰

    對接第三方 API、遷移 Kubernetes 配置或解析政企 XML 報文時,手工對照幾百行嵌套字段既慢又容易漏掉空值與類型邊界。本文整理用 ChatGPT 完成字段映射表梳理、生成確定性轉換腳本以及編寫 JSON Schema / Pydantic / XSD 校驗規則的實戰流。

    ChatGPT其他 AI 工具0
  6. 06

    用 ChatGPT 準備本科/碩士畢業論文答辯:提煉答辯 PPT 結構、模擬導師犀利追問與 3 分鐘自述稿

    畢業論文寫完後,要在 3–5 分鐘內講清研究價值並頂住答辯評委的連環追問並不輕鬆。本文整理在嚴格遵守高校學術規範的前提下,用 ChatGPT 提煉答辯 PPT 結構、打磨 3 分鐘口語自述稿並開展模擬導師犀利追問的排練流程與提示詞。

    ChatGPT0

同產品的其他教學

  1. 01

    Anthropic Contextual Retrieval(上下文增強檢索)是什麼、怎麼實現:給文檔塊自動補背景摘要結合緩存降失誤率

    長文檔切成小塊後丟了公司名、年份和主語指代導致 RAG 頻頻搜錯?本文按 Anthropic 官方技術文章詳解 Contextual Retrieval 原理、官方公開評測失誤率下降 49% 至 67% 的組合架構,以及用 Claude 提示詞緩存低成本批量生成切片背景的完整 Python 代碼。

    Claude其他 AI 工具0
  2. 02

    RAG 知識庫回答不準怎麼調優:切片大小(Chunking)、BM25 + 向量混合檢索與 Rerank 重排序三步排查法

    搭好的 RAG 企業知識庫一問具體型號、報錯碼或跨行表格就答非所問?本文按 OpenAI 與 Anthropic 官方檢索文檔,給出先隔離檢索與生成故障、再按結構化切片(Chunking)、BM25 加向量混合召回(RRF)與 Rerank 重排序逐層調優的三步法。

    Claude其他 AI 工具0
  3. 03

    Langfuse 開源本地部署(Docker Compose)與提示詞版本管理(Prompt Management)從零上手教學

    企業內網嚴禁業務日誌出境,又想免費擁有大模型調用鏈追蹤與不發版熱更新提示詞的能力?本文按 Langfuse 官方文檔整理 Docker Compose 本地一鍵啟動(含 ClickHouse 架構注意事項)、密鑰配置與 Prompt Management 標籤化版本管理全流程。

    Claude其他 AI 工具0
  4. 04

    LangSmith 入門教學:給 LangGraph 與原生 OpenAI / Claude 接口加調用鏈追蹤、Token 成本統計與免費層限額

    智能體多步調用總是找不到哪一輪提示詞跑偏、單次請求到底燒了多少 Token?本文按 LangSmith 官方文檔講清環境變量零侵入接入 LangGraph、用 wrap_openai / wrap_anthropic 與 @traceable 追蹤原生接口,以及 Developer 免費層額度與留存規則。

    Claude其他 AI 工具0
  5. 05

    Zotero 搭配 Claude / ChatGPT 高效讀英文文獻:PDF 翻譯插件、批註導出精讀與防捏造參考文獻流程

    在 Zotero 裏讀英文頂會論文怎麼無縫聯動 Claude 與 ChatGPT?本文整理 Translate for Zotero 劃詞翻譯配置、高亮批註導出精讀提示詞,以及杜絕 AI 捏造假 DOI 參考文獻的核驗閉環。

    Claude其他 AI 工具0
  6. 06

    Obsidian 接入 Claude、ChatGPT 與本地 Ollama 做個人雙鏈筆記問答:主流插件配置與私隱脫敏邊界

    想在 Obsidian 裏基於自己的雙鏈筆記庫做 AI 問答又擔心私隱外泄?本文對比 Copilot 與 Smart Connections 插件,整理接入 Claude、OpenAI 官方 API 與本地 Ollama 的步驟及敏感目錄隔離規則。

    Claude其他 AI 工具0

0 條評論

登入 後參與評論

還沒有評論,來搶沙發~