从零训练 3.87B 参数 MoE 模型 Apex-2，仅用 86.5B tokens 预训练

Reddit 用户从零训练了纯 MoE 模型 Apex-2，总参数 3.87B、每 token 激活 1.45B，预训练仅用 86.5B tokens。SFT 后 HumanEval+ 得 41.5，与用了 18T tokens 的 Qwen2.5-1.5B 相当，但 MMLU 28.6、数学和知识仍差距明显。