跳到正文
原文
Reddit r/LocalLLaMA (开源AI)· /u/MzCWzL·· 3 小时前AI 评分34

$5400 eBay 8x V100 服务器跑 flash-next 实测

$5400 eBay 8x V100 server cranks on flash-next

AI 导读

一台 $5400 购自 eBay 的 8x V100 服务器实测 flash-next,由 opus 5.5 完成部署,结果稳定。仅用 4 GPU、开启图像时 KV cache 约 120k;27B TP=4 搭配 dflash 推理速度超 200 tok/s,prefill 约 2.5-3.5k。

来源:Reddit r/LocalLLaMA (开源AI) · reddit.com