跳到正文
原文
Reddit r/LocalLLaMA (开源AI)· /u/matteiuspi·· 4 小时前AI 评分52

两张 96 GB 华为 Atlas 300I Duo 跑通 Qwen3.8 Flash-Next:硬件笔记、vLLM 改造与实测基准

Two 96 GB Ascend cards crun Qwen3.8-flash-next hardware notes, vLLM work, benchmarks, and what is next

AI 导读

作者分享在两张华为 Atlas 300I Duo(四枚 Ascend 310P3,共 192 GB 标称显存)上跑通 Qwen3.8 Flash-Next 的过程,从初期不连贯的约 1 tok/s 优化到单请求约 30 tok/s、四路并发约 61 tok/s。

来源:Reddit r/LocalLLaMA (开源AI) · reddit.com