独立开发者分享构建 Apex-2 模型的经验教训

开发者总结了训练 Apex-2 模型过程中的试错经验：原计划训练约 1T tokens，实际只完成了约 80B，GPU 始终是瓶颈。采用 DiLoCo 方法，用两个 GH200 实例代替 2x H100，每 350 步合并一次模型，训练速度约快 1.9x 且成本更低（GH200 约 $2.29/hour vs H100 约 $4.19/hour）。