Skip to content

Hermes Computer Use完整解析:不限模型/后台运行/四层Token优化

2026年5月12日

Hermes 发布 Computer Use,可以控制你的电脑了,而且不限模型。支持 Claude、GPT-4/5、Gemini、OpenRouter、vLLM,后台运行不抢焦点。

核心亮点

亮点说明
不限模型只要支持 vision 就能用
后台运行不抢焦点,不移动光标
Token 优化四层优化减少 token 消耗
安全防护审批机制 + 黑名单拦截

限制:macOS Apple 芯片专用(其他设备无法使用)

不限模型:最关键的一点

Hermes 的 Computer Use 走的是 MCP 协议,底层驱动叫 cua-driver

核心优势

优势说明
不绑定模型不依赖任何一家模型厂商
支持 vision 即可只要能看截图就能用
自由搭配用便宜的模型干杂活,用强的模型干精细活

兼容的模型

类型模型
AnthropicClaude(全系列)
OpenAIGPT-4/5(全系列)
GoogleGemini(全系列)
OpenRouter任意 vision 模型
本地部署vLLM + vision 支持的模型

实际意义

之前:Computer Use 只能 Codex 用
现在:任何 vision 模型都能用

之前:被锁在一个 provider
现在:自由搭配,按需切换

后台运行:不抢你的电脑

大多数 Computer Use 的问题

问题体验
鼠标自己动正在打字被干扰
窗口跳到前台正在工作被中断
macOS 切 Space界面突然切换

Hermes 的解决方案

Hermes 使用 macOS 的 SkyLight 私有 SPI

技术说明
事件直发事件直接发给目标进程
不走 HID不注入 HID 事件
不移动光标光标纹丝不动
不切换 Space不抢焦点

实际体验

让 agent 去 Mail 里搜 Stripe 的最新邮件并总结:

现象说明
鼠标纹丝不动你在做什么不受影响
Mail 窗口不弹到前台agent 在后台静默操作
agent 一气呵成截图、点击搜索框、输入关键词、读取结果

这其实就是 OpenAI Codex "background computer-use" 的开源版本。

安全防护:不是裸奔

三层防护机制

层级机制说明
第一层审批机制破坏性操作默认需要审批
第二层黑名单拦截硬编码危险应用拦截
第三层CLI 确认命令行确认框
第四层消息平台审批审批按钮

审批机制

操作类型默认行为
点击、输入、拖拽需要审批
只读操作(截图)自动执行

审批方式

平台审批方式
CLI弹确认框
消息平台审批按钮
API审批回调

Token 优化:四层优化

四层优化详解

层级优化内容节省比例
第一层视觉压缩节省截图 token
第二层区域裁剪只传相关区域
第三层帧间去重相同内容不重复
第四层缓存复用相同场景复用

优化效果

场景优化前 token优化后 token节省
简单操作50015070%
复杂操作200060070%
长时间任务10000300070%

安装与使用

系统要求

要求说明
操作系统macOS
芯片Apple 芯片(M1/M2/M3/M4)
模型支持 vision 的任意模型

安装 cua-driver

bash
# 1. 安装 Hermes
npm install -g hermes-cli

# 2. 安装 cua-driver
hermes install cua-driver

# 3. 授权辅助功能
# 系统设置 → 隐私与安全性 → 辅助功能 → 添加 Hermes

配置 Computer Use

bash
# 1. 启用 Computer Use
hermes config set computer-use enabled

# 2. 选择模型(以 Claude 为例)
hermes config set provider anthropic
hermes config set model claude-sonnet-4.6

# 3. 配置审批模式
hermes config set approval-mode ask  # ask/auto/deny

基本命令

bash
# 让 agent 操作电脑
hermes computer "帮我打开 Safari 并搜索 AI 新闻"

# 查看支持的模型
hermes models list

# 切换模型
hermes computer --model gpt-5 "帮我整理桌面文件"

兼容模型速查

模型vision 支持Computer Use 兼容
Claude 3.5 Sonnet
Claude 3.5 Opus
GPT-4o
GPT-4 Turbo
GPT-5
Gemini 1.5 Pro
Gemini 2.0
DeepSeek V4
本地 vLLM⚠️ 取决于配置

限制条件

限制说明
macOS only其他操作系统暂不支持
Apple 芯片Intel Mac 无法使用
vision 支持模型必须支持视觉能力
辅助功能授权需要授权 Herms 辅助功能

适用场景

场景推荐模型说明
日常杂活便宜模型节省成本
复杂任务强模型精确执行
快速测试中等模型平衡速度和成本
敏感操作Claude安全性高

一句话总结

Hermes Computer Use = 不限模型的桌面控制 + 后台静默运行 + 四层 Token 优化 + 三层安全防护。

核心价值

  • 任何 vision 模型都能用
  • 后台运行不抢焦点
  • 审批机制保障安全
  • Token 优化节省成本

限制:macOS Apple 芯片专用。

不要孤军奋战啦!

加入微信群一起学习交流 AI

与大神一起使用 OpenClaw、Hermes、Claude Code、Seedance 2.0、GPT-Image-2 等

微信公众号

扫码关注微信公众号
私信 "加群",将自动获取微信群二维码

探索 AI 世界,掌握智能未来