热点事件持续更新
6块BC-250矿板集群跑本地大模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Reddit r/LocalLLaMA 一位用户分享了用 6 张 AMD BC-250 矿卡组装集群运行本地大模型的更新。其中 4 块板运行 Qwen Next Flash IQ2_XS,在 100k 上下文下短生成速度约 28 tok/s、50k 上下文下约 24 tok/s(115 ppt);另外 2 块板运行 3.6 35b q4 模型,达到 60 tok/s、100k 上下文、450 ppt。目前该集群已能稳定输出测试数据,事件暂无新的进展。
AI 根据报道生成 · 2 小时前更新
最新进展10月2日 10:49
用户晒出6张BC-250集群跑Qwen模型的速度数据:4板28 tok/s、2板60 tok/s。报道时间线
沿着报道,了解事件的不同侧面。
10月2日
- Reddit r/LocalLLaMA (开源AI)6 张 AMD BC-250 矿卡集群的本地大模型运行更新
一位用户用 6 张 BC-250 矿卡组装集群运行本地大模型:4 块板跑 Qwen Next Flash IQ2_XS,100k 上下文下短生成约 28 tok/s、50k 下约 24 tok/s(115 ppt);另 2 块跑 3.6 35b q4,60 tok/s、100k 上下文、450 ppt。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。