Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构，将训练拆分为异步的计算孤岛以降低带宽需求并隔离硬件故障。团队用 Gemma 4 模型验证其 ML 性能与常规训练持平，并在四个美国区域用 2-5 Gbps 广域网络完成 12B 参数模型预训练，速度比常规同步方法快 20 倍以上；系统还支持混合 TPU v6e 与 TPU v5p 等不同代硬件参与同一训练。