Reddit r/LocalLLaMA (开源AI)· /u/MzCWzL·· 3 小时前AI 评分34
$5400 eBay 8x V100 服务器跑 flash-next 实测
$5400 eBay 8x V100 server cranks on flash-next
AI 导读
一台 $5400 购自 eBay 的 8x V100 服务器实测 flash-next,由 opus 5.5 完成部署,结果稳定。仅用 4 GPU、开启图像时 KV cache 约 120k;27B TP=4 搭配 dflash 推理速度超 200 tok/s,prefill 约 2.5-3.5k。
来源:Reddit r/LocalLLaMA (开源AI) · reddit.com