Hermes 发布 Computer Use,可以控制你的电脑了,而且不限模型。支持 Claude、GPT-4/5、Gemini、OpenRouter、vLLM,后台运行不抢焦点。
核心亮点 亮点 说明 不限模型 只要支持 vision 就能用 后台运行 不抢焦点,不移动光标 Token 优化 四层优化减少 token 消耗 安全防护 审批机制 + 黑名单拦截
限制 :macOS Apple 芯片专用(其他设备无法使用)
不限模型:最关键的一点 Hermes 的 Computer Use 走的是 MCP 协议 ,底层驱动叫 cua-driver。
核心优势 优势 说明 不绑定模型 不依赖任何一家模型厂商 支持 vision 即可 只要能看截图就能用 自由搭配 用便宜的模型干杂活,用强的模型干精细活
兼容的模型 类型 模型 Anthropic Claude(全系列) OpenAI GPT-4/5(全系列) Google Gemini(全系列) OpenRouter 任意 vision 模型 本地部署 vLLM + vision 支持的模型
实际意义 之前:Computer Use 只能 Codex 用
现在:任何 vision 模型都能用
之前:被锁在一个 provider
现在:自由搭配,按需切换 后台运行:不抢你的电脑 大多数 Computer Use 的问题 问题 体验 鼠标自己动 正在打字被干扰 窗口跳到前台 正在工作被中断 macOS 切 Space 界面突然切换
Hermes 的解决方案 Hermes 使用 macOS 的 SkyLight 私有 SPI :
技术 说明 事件直发 事件直接发给目标进程 不走 HID 不注入 HID 事件 不移动光标 光标纹丝不动 不切换 Space 不抢焦点
实际体验 让 agent 去 Mail 里搜 Stripe 的最新邮件并总结:
现象 说明 鼠标纹丝不动 你在做什么不受影响 Mail 窗口不弹到前台 agent 在后台静默操作 agent 一气呵成 截图、点击搜索框、输入关键词、读取结果
这其实就是 OpenAI Codex "background computer-use" 的开源版本。
安全防护:不是裸奔 三层防护机制 层级 机制 说明 第一层 审批机制 破坏性操作默认需要审批 第二层 黑名单拦截 硬编码危险应用拦截 第三层 CLI 确认 命令行确认框 第四层 消息平台审批 审批按钮
审批机制 操作类型 默认行为 点击、输入、拖拽 需要审批 只读操作(截图) 自动执行
审批方式 平台 审批方式 CLI 弹确认框 消息平台 审批按钮 API 审批回调
Token 优化:四层优化 四层优化详解 层级 优化内容 节省比例 第一层 视觉压缩 节省截图 token 第二层 区域裁剪 只传相关区域 第三层 帧间去重 相同内容不重复 第四层 缓存复用 相同场景复用
优化效果 场景 优化前 token 优化后 token 节省 简单操作 500 150 70% 复杂操作 2000 600 70% 长时间任务 10000 3000 70%
安装与使用 系统要求 要求 说明 操作系统 macOS 芯片 Apple 芯片(M1/M2/M3/M4) 模型 支持 vision 的任意模型
安装 cua-driver bash # 1. 安装 Hermes
npm install -g hermes-cli
# 2. 安装 cua-driver
hermes install cua-driver
# 3. 授权辅助功能
# 系统设置 → 隐私与安全性 → 辅助功能 → 添加 Hermes 配置 Computer Use bash # 1. 启用 Computer Use
hermes config set computer-use enabled
# 2. 选择模型(以 Claude 为例)
hermes config set provider anthropic
hermes config set model claude-sonnet-4.6
# 3. 配置审批模式
hermes config set approval-mode ask # ask/auto/deny 基本命令 bash # 让 agent 操作电脑
hermes computer "帮我打开 Safari 并搜索 AI 新闻"
# 查看支持的模型
hermes models list
# 切换模型
hermes computer --model gpt-5 "帮我整理桌面文件" 兼容模型速查 模型 vision 支持 Computer Use 兼容 Claude 3.5 Sonnet ✅ ✅ Claude 3.5 Opus ✅ ✅ GPT-4o ✅ ✅ GPT-4 Turbo ✅ ✅ GPT-5 ✅ ✅ Gemini 1.5 Pro ✅ ✅ Gemini 2.0 ✅ ✅ DeepSeek V4 ✅ ✅ 本地 vLLM ⚠️ 取决于配置 ✅
限制条件 限制 说明 macOS only 其他操作系统暂不支持 Apple 芯片 Intel Mac 无法使用 vision 支持 模型必须支持视觉能力 辅助功能授权 需要授权 Herms 辅助功能
适用场景 场景 推荐模型 说明 日常杂活 便宜模型 节省成本 复杂任务 强模型 精确执行 快速测试 中等模型 平衡速度和成本 敏感操作 Claude 安全性高
一句话总结 Hermes Computer Use = 不限模型的桌面控制 + 后台静默运行 + 四层 Token 优化 + 三层安全防护。
核心价值 :
任何 vision 模型都能用 后台运行不抢焦点 审批机制保障安全 Token 优化节省成本 限制 :macOS Apple 芯片专用。