跳到正文
热点事件持续更新

二手8x V100服务器跑flash-next获得高性能推理

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月1日,Reddit r/LocalLLaMA 上有用户发帖称,以5400美元从 eBay 购入的二手 8x V100 服务器实测 flash-next,由 opus 5.5 完成部署,结果稳定。据该帖描述,仅使用 4 块 GPU、开启图像时 KV cache 约为 120k;27B 模型 TP=4 搭配 dflash 推理速度超过 200 tok/s,prefill 约为 2.5k-3.5k。该事件目前仅有这一篇报道,尚无后续进展或其他来源的验证信息。

AI 根据报道生成 · 51 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月1日
  1. Reddit r/LocalLLaMA (开源AI)
    $5400 eBay 8x V100 服务器跑 flash-next 实测

    一台 $5400 购自 eBay 的 8x V100 服务器实测 flash-next,由 opus 5.5 完成部署,结果稳定。仅用 4 GPU、开启图像时 KV cache 约 120k;27B TP=4 搭配 dflash 推理速度超 200 tok/s,prefill 约 2.5-3.5k。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。