Appearance
为什么用本地Ollama?
数据隐私担忧
用云端AI模型的风险:
- 数据上传云端
- API密钥可能泄露
- 企业数据合规问题
- 日志可能被记录
API费用负担
| 模型 | 月成本(500万Token) |
|---|---|
| Claude-3.5 | ¥315 |
| GPT-4o | ¥262 |
| DeepSeek | ¥15 |
月成本仍需¥15+。
Ollama解决方案
- 数据不出本地 - 100%隐私安全
- 完全免费 - 无API费用
- 离线可用 - 无需联网
- 合规无忧 - 企业数据不外传
Ollama是什么?
Ollama是本地大模型运行工具:
- 支持多种开源模型
- 本地GPU/CPU运行
- OpenAI兼容API
- 一键安装使用
支持的模型
| 模型 | 参数量 | 硬件要求 | 特点 |
|---|---|---|---|
| Llama 3.2 | 1B/3B | 低 | 轻量级,适合对话 |
| Llama 3.1 | 8B | 中 | 通用能力强 |
| Qwen 2.5 | 7B/14B | 中-高 | 中文能力强 |
| DeepSeek-V2 | 7B | 中 | 代码能力强 |
| Mistral | 7B | 中 | 速度快 |
| Gemma 2 | 9B | 中 | Google开源 |
安装Ollama
Windows安装
- 下载Ollama Windows版
- 运行安装程序
- 验证安装:
bash
ollama --versionmacOS安装
bash
brew install ollamaLinux安装
bash
curl -fsSL https://ollama.com/install.sh | sh下载模型
选择推荐模型
| 场景 | 推荐模型 | 说明 |
|---|---|---|
| 中文对话 | Qwen 2.5 7B | 中文理解强 |
| 代码辅助 | DeepSeek-V2 7B | 代码能力好 |
| 通用场景 | Llama 3.1 8B | 通用能力强 |
| 资源紧张 | Llama 3.2 3B | 资源占用低 |
下载模型
bash
# 中文场景推荐
ollama pull qwen2.5:7b
# 代码场景推荐
ollama pull deepseek-v2:7b
# 通用场景推荐
ollama pull llama3.1:8b
# 资源紧张场景
ollama pull llama3.2:3b验证模型
bash
ollama list输出:
NAME ID SIZE
qwen2.5:7b xxxxxxx 4.7GB
deepseek-v2:7b xxxxxxx 4.2GB
llama3.1:8b xxxxxxx 4.9GBOpenClaw接入Ollama
步骤1:启动Ollama服务
bash
ollama serve默认监听:http://localhost:11434
步骤2:配置OpenClaw
yaml
providers:
ollama:
enabled: true
baseUrl: "http://localhost:11434"
models:
- name: qwen2.5:7b
type: chat
contextWindow: 4096
- name: deepseek-v2:7b
type: chat
speciality: coding
- name: llama3.1:8b
type: chat
contextWindow: 8192
agents:
# 中文对话
chinese-helper:
model: "ollama:qwen2.5:7b"
# 代码辅助
code-helper:
model: "ollama:deepseek-v2:7b"
# 通用场景
general-helper:
model: "ollama:llama3.1:8b"步骤3:测试连接
bash
openclaw test --provider ollama --model qwen2.5:7b输出:
Provider: ollama
Model: qwen2.5:7b
Status: ✅ 本地连接成功
Response: 测试消息正常回复
Cost: ¥0(完全免费)硬件要求
最低配置
| 项目 | 最低要求 |
|---|---|
| CPU | 4核心 |
| 内存 | 8GB |
| 硬盘 | 10GB(模型存储) |
| GPU | 可选(无GPU用CPU) |
推荐配置
| 模型 | GPU显存 | 内存 | 速度 |
|---|---|---|---|
| 3B模型 | 4GB | 8GB | 快 |
| 7B模型 | 8GB | 16GB | 中 |
| 14B模型 | 16GB | 32GB | 较慢 |
无GPU配置
无GPU可用CPU运行,速度较慢:
| 模型 | CPU推理速度 |
|---|---|
| 3B模型 | 10-20 Token/秒 |
| 7B模型 | 3-8 Token/秒 |
| 14B模型 | 1-3 Token/秒 |
使用场景
场景1:隐私对话
用户:分析这份合同的风险条款
小龙虾:使用本地模型分析,数据不上传...数据100%留在本地。
场景2:离线使用
无网络环境 → 本地Ollama正常工作场景3:企业合规
企业数据 → 不外传 → 合规无忧与云端模型对比
| 维度 | 本地Ollama | 云端API |
|---|---|---|
| 成本 | ¥0 | ¥15-315/月 |
| 隐私 | 100%本地 | 数据上传云端 |
| 网络 | 不需要 | 必须联网 |
| 速度 | 取决硬件 | API响应快 |
| 能力 | 7B模型够用 | 更强大模型 |
| 合规 | 无风险 | 有合规顾虑 |
完整配置示例
yaml
# OpenClaw本地Ollama配置
providers:
# 本地Ollama
ollama:
enabled: true
baseUrl: "http://localhost:11434"
models:
- qwen2.5:7b # 中文对话
- deepseek-v2:7b # 代码辅助
- llama3.1:8b # 通用场景
# 云端DeepSeek(备用)
deepseek:
enabled: true
apiKey: "${DEEPSEEK_API_KEY}"
agents:
# 主Agent - 本地优先
main:
model: "ollama:qwen2.5:7b" # 默认用本地
fallback: "deepseek-chat" # 本地失败时切换云端
channels:
- feishu
- dingtalk
# 代码Agent - 本地代码模型
coder:
model: "ollama:deepseek-v2:7b"
fallback: "deepseek-coder"
# 隐私Agent - 强制本地
privacy:
model: "ollama:qwen2.5:7b"
config:
forceLocal: true # 不允许切换云端离线部署方案
完全离线环境
企业内网无外网环境:
- 提前下载模型
- 提前安装Ollama
- 提前安装OpenClaw
- 全部本地运行
内网部署架构
内网服务器
├── Ollama服务(端口11434)
├── OpenClaw(端口3000)
└── 飞书/钉钉机器人(内网代理)成本对比
月成本计算
| 方案 | 硬件成本 | API成本 | 月成本 |
|---|---|---|---|
| 本地Ollama | 已有硬件 | ¥0 | ¥0 |
| DeepSeek | 无 | ¥15 | ¥15 |
| Claude | 无 | ¥315 | ¥315 |
年成本对比
| 方案 | 年成本 |
|---|---|
| 本地Ollama | ¥0 |
| DeepSeek | ¥180 |
| Claude | ¥3780 |
本地Ollama年节省¥180-3780。
注意事项
1. 模型能力差距
| 能力 | 本地7B | 云端Claude |
|---|---|---|
| 日常对话 | ✅ 够用 | ✅ 更好 |
| 代码辅助 | ✅ 够用 | ✅ 更好 |
| 复杂推理 | ⚠️ 较弱 | ✅ 强 |
| 长文档 | ⚠️ 上下文短 | ✅ 200K |
2. 硬件资源占用
运行7B模型:
- GPU显存:8GB+
- 内存:16GB+
- 推理时占用资源
3. 首次下载模型
模型文件较大:
- 7B模型:4-5GB
- 14B模型:8-9GB
首次下载需等待。
总结
OpenClaw接入本地Ollama:
| 维度 | 数据 |
|---|---|
| 成本 | ¥0(完全免费) |
| 隐私 | 100%本地 |
| 网络 | 离线可用 |
| 合规 | 无风险 |
| 年节省 | ¥180-3780 |
数据不出本地。
完全免费。
隐私100%安全。
🦞 Claw is the law. 本地部署,Ollama免费。
