Jeff Dean新论文：弹性分布式预训练终于可行，240万芯片集群不再被故障卡死

📰 概要

2026年4月25日，谷歌Jeff Dean等发表Decoupled DiLoCo论文，解决了一个14年前的未竟目标：弹性大规模分布式预训练。

核心突破：用全球异构硬件训练大模型，硬件故障时系统不停机。240万芯片集群的有效利用率从传统SPMD的58%提升到88%。

带宽需求从104 Gbits/s降至0.43-1.7 Gbits/s，降幅约100倍。这意味着跨数据中心训练不再被网络带宽卡脖子。

14年前Jeff Dean就在NeurIPS 2012上论证过：大规模训练可以容错分散到数千台机器。但理念归理念，工程上一直没跑通。

现在的困境很现实：240万芯片集群，平均故障间隔不到1分钟。传统SPMD模式下一个芯片出问题，整条流水线停摆。58%的有效利用率意味着近一半算力在等故障恢复。

Decoupled DiLoCo的思路是「解耦」——不同工作组的训练节奏独立，故障只影响局部。这不只是论文，是让百万级芯片集群真正能用的工程方案。

来看关键指标对比：

带宽降低100倍是最大惊喜。之前跨数据中心训练的瓶颈是网络，现在可以想象用不同地区、不同型号的GPU拼成一个训练集群。

这意味着什么？闲置算力可以「捡」来用。某个数据中心有几小时空窗期，直接接入训练任务，不用预留、不用对齐。

对AI基础设施的影响是深远的。以后训练大模型不一定要建专用超算，全球分散的异构算力也能用起来。这会改变算力市场的格局。

对做训练框架的团队，这篇论文值得逐字读。解耦的关键在于「外循环优化器」的设计——不同工作组各自训练，定期同步一个轻量的全局状态。

但也要注意局限：论文验证的规模和实际生产部署之间还有距离。跨数据中心训练的延迟、数据一致性、安全合规都是现实挑战。

什么情况不建议照搬：如果你的训练规模在千卡以下，传统SPMD够用，解耦的复杂度不值得引入。如果你的训练任务对梯度同步精度要求极高，解耦带来的近似误差需要评估。