在 Amazon EKS 上结合 EFA 与 DeepEP 扩展 MoE 强化学习,吞吐量提升 40%
AWS 提出在 Amazon EKS 上结合 EFA 与 DeepEP 的架构,加速 MoE 模型的大规模强化学习训练,吞吐量提升 40%。该方案针对 RLHF 与 GRPO 等流程中 rollout 生成与策略训练资源竞争、跨节点通信带宽受限等问题,由 DeepEP 优化 Expert Parallelism 的 all-to-all token 路由通信。
AWS 提出在 Amazon EKS 上结合 EFA 与 DeepEP 的架构,加速 MoE 模型的大规模强化学习训练,吞吐量提升 40%。该方案针对 RLHF 与 GRPO 等流程中 rollout 生成与策略训练资源竞争、跨节点通信带宽受限等问题,由 DeepEP 优化 Expert Parallelism 的 all-to-all token 路由通信。
NVIDIA 与 Google DeepMind、EMBL-EBI 等机构合作,通过 AlphaFold Database 开放发布超过 2,800 种病毒的蛋白质复合物预测 3D 结构,其中约 30% 的蛋白质相互作用此前从未在 Protein Data Bank 中被记录。
Microsoft Research 发布深度学习 DFT 泛函 Skala 1.1,训练数据较上一版增加 2.5 倍,在 GMTKN55 基准 55 个类别中的 32 个排名第一,加权平均误差 2.8 kcal/mol。
Berkeley AI Research 提出 ABBEL 框架,将摘要建模为自然语言信念状态并对其内容进行监督,解决传统递归摘要(context compaction)在长程交互中的性能损失。