Hugging Face Blog·· 3 小时前AI 评分58
Ai2 发布开源 MoE 训练框架 Olmo-core 3,可扩展至万亿参数
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
Ai2 发布 Olmo-core 3,为其大模型训练框架带来重新设计的开源 MoE 训练系统,可将 MoE 训练扩展到万亿参数级别。
来源:Hugging Face Blog · huggingface.co