跳到正文
原文
Hugging Face Blog·· 3 小时前AI 评分58

Ai2 发布开源 MoE 训练框架 Olmo-core 3,可扩展至万亿参数

Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs

AI 导读

Ai2 发布 Olmo-core 3,为其大模型训练框架带来重新设计的开源 MoE 训练系统,可将 MoE 训练扩展到万亿参数级别。

来源:Hugging Face Blog · huggingface.co