结论先说
- 这是客户端执行的内置模式工具:Anthropic 在模型侧内置了工具定义与屏幕像素坐标识别能力,但真正的虚拟桌面、截图程序和键鼠驱动必须跑在你自己控制的隔离环境里。
- 核心运行原理是「截图 → 算坐标发指令 → 执行并再截图」的循环:模型每次返回
screenshot、left_click、type、scroll或局部放大zoom等动作,你的代码执行后把最新画面通过tool_result传回去。 - 声明分辨率必须与传入截图的实际像素严丝合缝:工具参数里的
display_width_px和display_height_px一旦和回传图片的宽高不一致,模型算出的点击坐标就会整体偏移。 - 严禁直接跑在日常办公宿主机上:官方反复强调必须放进最小权限的独立 Docker 容器或虚拟机中运行,限制外网白名单,并在支付、发信、删数据等不可逆步骤加人工审批。
- 国内免卡开通与账号服务入口:自有账号免上号自助开通可见本站 Claude Pro 充值页 与 Claude Max 充值页;缺可用账号或遇身份核验可查看 Claude 注册说明 与 Claude KYC 认证协助。

图:本站根据 Claude 官方文档:Computer use tool 整理的示意图
本文根据 Claude 开发者平台官方文档《Computer use tool》整理,资料核对于 2026-11-18。配图为本站整理的示意图,不是界面截图。本站(bigolab.com)不是 Anthropic 官方网站。
适用于谁
- 搜「claude computer use 怎么用」,想用 API 让模型自动操作没有开放接口的遗留桌面软件或网页后台的开发者;
- 搞不清 Computer Use 是 Anthropic 云端替你点鼠标,还是要在自己机器上搭虚拟桌面的工程师;
- 调通了截图回传,却遇到鼠标总是点歪半截、或者担心提示词注入带来安全风险的人。
如果你只需要让模型在云端沙盒里跑 Python 脚本分析数据,用服务端托管的 /guides/claude-api-code-execution-tool 更快更省钱;只有必须依赖图形界面(GUI)点击时再上 Computer Use。
一、工作原理与工具选型优先级
和需要你自己手写 JSON Schema 的普通函数调用(见 /guides/claude-tool-use-basics)不同,Computer Use 属于 Anthropic 定义 Schema、客户端负责执行 的标准工具。你只需要在请求里指定工具类型(如 computer_20251124 或新版工具集配置)和屏幕像素尺寸,模型就会自动启用经过专门训练的视觉定位能力。
一个完整的智能体循环(Agent loop)按以下顺序运转:
- 你的程序向 Messages API 发送任务目标与
computer工具声明; - Claude 通常先请求一次
action: "screenshot"观察当前桌面长什么样; - 你的程序在虚拟显示器(如 Linux
Xvfb)里抓屏,把 Base64 编码的 PNG 图片放进tool_result发回给 Claude(图片格式要求与视觉计费规则见 /guides/claude-api-image-input); - Claude 根据画面计算出按钮像素坐标(例如
[512, 340]),返回left_click、type或key等动作;遇到密集小字看不清时,支持启用zoom动作的模型还会先请求截取局部区域的无损原图看清后再点; - 循环往复,直到任务完成、模型不再发出新的
tool_use为止。
官方同时给出了明确的工具选型优先级:有原生 API 或 MCP 接口先调接口 → 能用 Bash 与文件编辑解决的走命令行 → 纯网页自动化优先用 Playwright 等结构化工具 → 最后才用 Computer Use 兜底图形界面。因为每一轮回传全屏截图都会消耗可观的图像 token 并增加推理耗时。
二、API 调用格式与分辨率对齐铁律
调用时必须同时对齐三件事:模型型号、工具版本标识(type)与对应的 anthropic-beta 请求头。按官方文档整理的 Python 请求示例:
python
import anthropic
client = anthropic.Anthropic()
response = client.beta.messages.create(
model="claude-opus-5-5",
max_tokens=2048,
tools=[
{
"type": "computer_20251124",
"name": "computer",
"display_width_px": 1024,
"display_height_px": 768,
"display_number": 1,
}
],
messages=[
{"role": "user", "content": "先截取当前桌面,打开浏览器并进入本地测试后台首页。"}
],
betas=["computer-use-2025-11-24"],
)
for block in response.content:
if block.type == "tool_use":
print(block.name, block.input)
联调时最容易踩的坑是点击坐标偏移,请严格核对两条规则:
- 优先使用官方推荐的中等分辨率:如
1024×768(XGA)或1280×800(WXGA)。直接传 4K 超高清全屏截图不仅让每轮输入 token 翻倍,超出视觉模型内部缩放上限后还会被服务端压缩,反而降低小图标点击精度; - 两边像素必须一比一对应:如果你在宿主机高分屏(如 Retina 2x 缩放)截出了
2048×1536的图,必须在发给 API 前先缩放到1024×768,或者在把模型返回的坐标交给xdotool/ 鼠标驱动前按同样比例换算回去。
Claude 会员充值与成品号提示:国内银行卡在结账页被拒时,可通过本站支付宝、微信支付或 AlipayHK 获取 iOS 订阅卡密自助开通 Claude Pro 或高配额 Claude Max(全程无需上号交密码);需要现成账号可了解 Claude Pro 成品号 与 Claude Max 5x 成品号(注:Anthropic 消费者条款禁止共享转让账号且违规可终止无退款,成品号均明确标注不质保封号)。
三、容器隔离与防提示词注入安全要求
由于拥有键鼠控制权的智能体一旦看走眼或被屏幕上的恶意文字诱导,破坏力远大于纯文本对话,官方文档专门列出了生产环境安全规范:

图:本站根据 Claude 官方文档:Computer use tool 整理的示意图
- 强制跑在隔离容器或虚拟机里:可直接使用 Anthropic 官方开源的参考 Docker 镜像(内置
Xvfb、窗口管理器与 VNC 预览端口),绝不要把你的个人电脑主桌面、已登录的私人邮箱、网银或生产云控制台暴露给智能体; - 防范屏幕提示词注入(Prompt injection):网页弹窗、邮件正文甚至一张图片里都可能藏着诱导文字(如伪装成系统提示让模型打开终端外发文件)。容器层面应配置严格的网络出站白名单,只放行任务必需的域名;
- 高风险动作加人工确认(Human-in-the-loop):提交订单、发送外部消息、修改权限或删除记录前,在客户端代码里挂起循环,弹窗让真人在 VNC 画面里确认后再放行;
- 控制循环上限防死锁:当桌面弹窗卡死导致模型连续重试同一点击时,没有轮次上限会迅速烧空余额。务必在循环外层设好
max_iterations上限。
如果你并非要从零开发一套桌面控制后端,只是希望让 Claude 在你本地浏览器里辅助点页面做日常网页操作,直接搭配官方 Chrome 扩展(见 /guides/claude-in-chrome)和付费订阅(如本站 Claude Max 充值页 或 Pro 档位)即可开箱使用,不必自己维护 Docker 虚拟桌面。
常见问题
问:为什么模型请求了 left_click,点完之后却不知道弹窗已经打开了?
答:每次执行完点击、输入或滚动动作后,界面往往有几百毫秒的渲染或网络加载延迟。建议客户端在执行完键鼠动作后稍作等待(例如 0.5 到 1 秒),再抓取最新屏幕截图放进同一个 tool_result 一并回传,避免模型看到点击前的旧残影。
问:Computer Use 可以和 Bash、Text Editor 工具一起挂在同一请求里吗?
答:可以,这也是官方参考实现里的标准搭配。文件读写和启动程序交给 Bash 与 Text Editor 处理,只有必须点界面的步骤才动用 computer 工具,速度与成功率都会高很多。
问:遇到小字号表格或密集按钮总是点不准怎么办?
答:在支持 computer_20251124(配合 enable_zoom: true)或新版 computer_toolset 的模型上开启 zoom 能力,让模型先框选目标局部区域查看原始高清分辨率,确认准确位置后再执行点击。
问:人在国内没有外币信用卡,怎么订阅或升级 Claude 付费套餐?
答:可在本站 AI 会员充值总览页 选择 Claude Pro 自助充值 或 Claude Max 充值,付款后即时发卡密、24 小时自助兑换且可开具增值税发票;实时价格与售后边界(含封号不质保)以商品页当天展示为准。
相关教程
- Claude Tool Use(工具调用 / Function Calling)入门:定义工具与返回 tool_result
- Claude API 图片输入(vision)怎么传:base64、url、file_id 与 token 计算
- Claude API 代码执行工具(code execution)怎么用
- Claude in Chrome 扩展怎么用:安装、权限与安全提示
参考资料
- Claude 开发者平台文档:Computer use tool — https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool
0 条评论
还没有评论,来抢沙发~