Reddit r/LocalLLaMA (开源AI)· /u/Ok-Breadfruit-3523·· 3 小时前AI 评分39
6 张 AMD BC-250 矿卡集群的本地大模型运行更新
Update on the “Monstrosity”. 6 BC-250 board cluster
AI 导读
一位用户用 6 张 BC-250 矿卡组装集群运行本地大模型：4 块板跑 Qwen Next Flash IQ2_XS，100k 上下文下短生成约 28 tok/s、50k 下约 24 tok/s（115 ppt）；另 2 块跑 3.6 35b q4，60 tok/s、100k 上下文、450 ppt。
来源：Reddit r/LocalLLaMA (开源AI) · reddit.com