跳到正文
热点事件持续更新

6块BC-250矿板集群跑本地大模型

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Reddit r/LocalLLaMA 一位用户分享了用 6 张 AMD BC-250 矿卡组装集群运行本地大模型的更新。其中 4 块板运行 Qwen Next Flash IQ2_XS,在 100k 上下文下短生成速度约 28 tok/s、50k 上下文下约 24 tok/s(115 ppt);另外 2 块板运行 3.6 35b q4 模型,达到 60 tok/s、100k 上下文、450 ppt。目前该集群已能稳定输出测试数据,事件暂无新的进展。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月2日
  1. Reddit r/LocalLLaMA (开源AI)
    6 张 AMD BC-250 矿卡集群的本地大模型运行更新

    一位用户用 6 张 BC-250 矿卡组装集群运行本地大模型:4 块板跑 Qwen Next Flash IQ2_XS,100k 上下文下短生成约 28 tok/s、50k 下约 24 tok/s(115 ppt);另 2 块跑 3.6 35b q4,60 tok/s、100k 上下文、450 ppt。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。