📰 概要

Kubernetes 很擅长保证服务"活着"——Pod 在跑、资源够用、不宕机。但当它跑的是 LLM 时，这套逻辑开始失效。

2026年5月4日，CNCF 发了一篇博文，标题很直接：仅靠 Kubernetes 不足以保障 LLM 工作负载的安全。

K8s 能看到 Pod 在跑，但看不到提示词是不是恶意的、输出有没有泄露机密、模型是不是在调用不该调的工具。这是一个全新的威胁模型。

🔍 解读

传统应用处理的是固定输入，LLM 处理的是不受信任的动态输入。本质区别就在这里。

当你在 K8s 上跑一个 API 接入的 LLM，K8s 能保证 Pod 正常运行，但它无法感知提示词的内容。提示词可能是恶意的、输出可能泄露敏感数据。

基础设施层面看起来很健康，实际上风险已经在暗处积累。CNCF 把这个叫做"糟糕的局面"：表面健康，底层危险。

当 LLM 被置于内部工具、日志、API 或凭据之前时，它成了一个可以被提示词输入影响的新抽象层。提示词注入、意外数据暴露——这些都不是 RBAC、网络策略、容器隔离能管的事。

K8s 为调度、隔离和资源管理提供了强有力的基础能力，但它缺乏对 AI 系统施加应用层或语义层控制的内置机制。它无法判断提示词是否应被执行、响应是否泄露敏感信息。

这个局限意味着，组织必须引入 AI 特定的控制：提示词校验、输出过滤、工具访问限制、应用层策略执行。

行业正在出现对"AI 感知型平台工程"的需求——把安全同时嵌入基础设施层和应用层。包括 OWASP Top 10 for LLMs 框架和策略即代码。

「什么情况不建议用」：如果你只是用 LLM 做纯生成任务（写文章、画画、聊天），不涉及内部系统调用，传统 K8s 安全机制基本够用。

但如果你的 LLM 会调用内部 API、访问数据库、操作文件，那这篇文章说的就是你需要额外加的那一层。