Appearance
Claude Code新增Computer Use：CLI直接操控GUI应用
Claude 现在可以在命令行里直接打开应用程序，点击按钮、截图、操作 UI，然后把结果反馈回来。写代码、编译、启动应用、点击测试、发现 bug、修复、验证，一条龙全在一个终端会话里完成。
一、效果演示
官方演示：用户报告「Gen 按钮渲染到一半报 ERR 19 停了」。
Claude 完成的流程：
| 步骤 | 动作 |
|---|---|
| 1 | git status 查看项目结构 |
| 2 | 启动 SPM3000 应用 |
| 3 | 启用 Computer Use |
| 4 | 点击 GEN 按钮，坐标 (412, 580) |
| 5 | 截图确认 ERR 19 问题 |
| 6 | grep 搜索代码定位 bug |
| 7 | 修复调色板逻辑 |
| 8 | xcodebuild 编译验证 |
| 9 | 重新启动应用测试 |
| 10 | 确认 32 行全部渲染完成 |
从收到 bug 报告到修复验证完成，约两分钟。
二、使用条件
| 条件 | 要求 |
|---|---|
| 平台 | 仅 macOS |
| 订阅 | Pro 或 Max |
| 版本 | Claude Code v2.1.85+ |
| 模式 | 不支持 -p 非交互模式 |
三、启用方式
bash
# 在 Claude Code 会话中输入
/mcp
# 找到 computer-use，选择 Enable首次使用需要授权：
- 辅助功能：让 Claude 点击、输入、滚动
- 屏幕录制：让 Claude 看到屏幕内容
四、工具选择优先级
Claude 选择工具的优先级：
| 优先级 | 工具 | 场景 |
|---|---|---|
| 1 | MCP server | 如果配置了 |
| 2 | Bash | 能用 shell 命令解决 |
| 3 | Claude in Chrome | 浏览器操作 |
| 4 | Computer Use | 以上都搞不定 |
屏幕操控是最慢的方式，Computer Use 是留给没有 CLI、没有 API、只有图形界面的应用。
五、使用场景
| 场景 | 说明 |
|---|---|
| 原生应用验证 | 改完代码，让 Claude 自己编译、启动、点一遍 UI |
| 端到端 UI 测试 | 指着本地应用说「测一下注册流程」 |
| 视觉 bug 调试 | 「modal 在小窗口下会被裁切」，Claude 自己调整窗口复现 |
| 控制 GUI 工具 | 设计工具、硬件控制面板、iOS 模拟器 |
六、安全机制
权限分级
| 应用类型 | 权限 |
|---|---|
| 浏览器、交易平台 | 只能看，不能操作 |
| 终端、IDE | 只能点击，不能输入 |
| 其他应用 | 完整控制权 |
安全措施
- 每个 app 需要单独批准
- 工作时隐藏其他窗口
- 终端窗口被排除在截图之外（避免 prompt injection）
- 随时按 Esc 中断
七、与桌面版的区别
| 对比 | CLI 版 | Desktop 版 |
|---|---|---|
| 启用方式 | /mcp | 设置面板 |
| 拒绝应用列表 | 暂无 | 有 |
| 自动恢复隐藏窗口 | 强制开启 | 可配置 |
核心引擎是同一套。
八、意义
AI 编程助手的「感知边界」扩大了：
| 以前 | 现在 |
|---|---|
| 能读代码、写代码、跑命令 | 还能看到代码运行的结果 |
| 「盲」的 | 自己能看了 |
| 改代码 → 手动验证 → 文字描述给 Claude | 改代码 → 自己验证 |
写代码的和验证代码的，变成了同一个人。
总结
| 功能 | 说明 |
|---|---|
| 启用 | /mcp → computer-use → Enable |
| 场景 | 原生应用验证、UI测试、视觉调试、GUI工具控制 |
| 安全 | 分级权限、单独批准、随时中断 |
Computer Use 让 Claude Code 从「能写代码」进化到「能验证代码」。
关键词：Claude Code Computer Use, GUI操控, /mcp启用, macOS应用, 端到端测试, 视觉调试
