🏷️ 推理架构

Kimi 把 KV Cache 玩成了新商业模式：Prefill 和 Decode 跨数据中心解耦，商用以太网就够了

月之暗面联合清华大学发布PrFaaS架构，实现KV Cache跨数据中心传输。1T参数模型实测：吞吐量提升54%，P90延迟降低64%。跨数据中心带宽仅需13Gbps，普通商用以太网即可承载。推理架构刷新成本天花板。