热点事件持续更新
个人从零训练 3.87B MoE 模型 Apex-2 并开源
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Reddit r/LocalLLaMA 用户报告从零训练了纯 MoE 模型 Apex-2 并开源。模型总参数 3.87B，每 token 激活 1.45B，预训练仅使用 86.5B tokens。经 SFT 后，模型在 HumanEval+ 上取得 41.5 分，与使用了 18T tokens 预训练的 Qwen2.5-1.5B 相当。但在 MMLU 上仅得 28.6 分，数学和知识类任务与 Qwen2.5-1.5B 仍有明显差距。目前报道显示了该模型以极少数据达到接近代码能力的效果，同时暴露出知识与数学能力的短板。
AI 根据报道生成 · 3 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月4日
- Reddit r/LocalLLaMA (开源AI)从零训练 3.87B 参数 MoE 模型 Apex-2，仅用 86.5B tokens 预训练
Reddit 用户从零训练了纯 MoE 模型 Apex-2，总参数 3.87B、每 token 激活 1.45B，预训练仅用 86.5B tokens。SFT 后 HumanEval+ 得 41.5，与用了 18T tokens 的 Qwen2.5-1.5B 相当，但 MMLU 28.6、数学和知识仍差距明显。
本事件热度走势
当前热度 9·可比范围峰值 10（10月5日 01:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。