Skip to content

LiteLLM Proxy 本地搭建:一个API Key聚合所有国产大模型

2026年4月19日

LiteLLM Proxy 本地搭建:一个API Key聚合所有国产大模型

用 LiteLLM Proxy 把 MiniMax、智谱GLM、阿里Qwen、小米MiMo统一成一个入口,Cursor/Hermes Agent/OpenClaw 即插即用。


核心优势

优势说明
✅ 统一接口OpenAI兼容格式,Cursor原生支持
✅ 绕过限制使用 openai/ 前缀,自定义api_base
✅ 环境变量API Key集中管理,安全方便
✅ 免费开源完全免费,无供应商锁定

核心技巧:为什么用 openai/ 前缀?

这是本文的核心技巧!

yaml
# 普通方式(可能失败)
model: minimax/MiniMax-M2.7
api_base: https://api.minimaxi.com/v1

# ✅ 自定义方式(绕过检测)
model: openai/MiniMax-M2.7
api_base: https://api.minimaxi.com/v1

只要API是OpenAI兼容格式,就能用这个方式接入!


一、准备工作

1.1 安装 Python 3.11

LiteLLM需要 Python 3.10+,建议使用 Python 3.11。

下载地址:https://www.python.org/downloads/

安装时记得勾选 "Add Python to PATH"

验证安装:

bash
python --version
# 应该显示 Python 3.11.x

1.2 安装 LiteLLM

打开 PowerShell,运行:

bash
pip install litellm "litellm[proxy]"

二、创建项目文件夹

在合适的位置创建一个文件夹:

D:\AI\LiteLLM-Proxy

三、配置API信息

3.1 创建环境变量文件

在项目文件夹里新建 .env 文件:

bash
# ===========================================
# MiniMax 配置
# ===========================================
MINIMAX_BASE_URL=https://api.minimaxi.com/v1
MINIMAX_API_KEY=你的MiniMax密钥

# ===========================================
# 智谱 GLM 配置
# ===========================================
ZHIPU_BASE_URL=https://open.bigmodel.cn/api/paas/v4
ZHIPU_API_KEY=你的智谱密钥

# ===========================================
# 阿里 Qwen 配置
# ===========================================
QWEN_BASE_URL=https://dashscope.aliyuncs.com/compatible-mode/v1
QWEN_API_KEY=你的阿里密钥

# ===========================================
# 小米 MiMo 配置
# ===========================================
MIMO_BASE_URL=https://api.mimoai.cn/v1
MIMO_API_KEY=你的小米密钥

3.2 创建配置文件

在项目文件夹里新建 litellm_config.yaml

yaml
model_list:
  # MiniMax 模型
  - model_name: minimax-m2
    litellm_params:
      model: openai/MiniMax-M2.7
      api_base: os.environ/MINIMAX_BASE_URL
      api_key: os.environ/MINIMAX_API_KEY

  # 智谱 GLM 模型
  - model_name: glm-4
    litellm_params:
      model: openai/glm-4
      api_base: os.environ/ZHIPU_BASE_URL
      api_key: os.environ/ZHIPU_API_KEY

  # 阿里 Qwen 模型
  - model_name: qwen-max
    litellm_params:
      model: openai/qwen-max
      api_base: os.environ/QWEN_BASE_URL
      api_key: os.environ/QWEN_API_KEY

  # 小米 MiMo 模型
  - model_name: mimo
    litellm_params:
      model: openai/mimo-7b
      api_base: os.environ/MIMO_BASE_URL
      api_key: os.environ/MIMO_API_KEY

general_settings:
  master_key: your-master-key-here  # 设置一个主密钥

四、启动 LiteLLM Proxy

4.1 启动命令

在项目文件夹下运行:

bash
litellm --config litellm_config.yaml

4.2 启动成功

看到以下输出表示启动成功:

Uvicorn running on http://0.0.0.0:4000

五、在 Cursor 中使用

5.1 打开 Cursor 设置

Settings → Models → OpenAI API Key

5.2 配置参数

参数
API Keyyour-master-key-here
Base URLhttp://127.0.0.1:4000

5.3 选择模型

在模型下拉列表中,选择:

  • minimax-m2
  • glm-4
  • qwen-max
  • mimo

六、在 OpenClaw 中使用

6.1 配置 openclaw.json

~/.openclaw/openclaw.json 中添加:

json
{
  "llm": {
    "provider": "openai",
    "model": "qwen-max",
    "api_key": "your-master-key-here",
    "base_url": "http://127.0.0.1:4000"
  }
}

6.2 重启 OpenClaw

重启后即可使用聚合后的模型。


配置速查表

项目
Proxy 地址http://127.0.0.1:4000
默认端口4000
配置文件litellm_config.yaml
环境变量文件.env
API Keymaster_key

常见问题

问题解决方案
启动失败检查 Python 版本是否 ≥3.10
模型无法调用检查 .env 中的 API Key 是否正确
Cursor 连接失败确认 Base URL 是 http://127.0.0.1:4000
端口被占用修改配置文件中的端口号

总结

要点说明
核心价值一个API Key调用所有国产大模型
核心技巧使用 openai/ 前缀绕过检测
兼容性Cursor/OpenClaw/Hermes Agent 即插即用

一句话总结:LiteLLM Proxy 是AI模型的"路由器",一个入口、一个Key,调用所有国产大模型。

不要孤军奋战啦!

加入微信群一起学习交流 AI

与大神一起使用 OpenClaw、Hermes、Claude Code、Seedance 2.0、GPT-Image-2 等

微信公众号

扫码关注微信公众号
私信 "加群",将自动获取微信群二维码

探索 AI 世界,掌握智能未来