跳到正文
原文
Reddit r/LocalLLaMA (开源AI)· /u/EmPips·· 3 小时前AI 评分49

用 Strata + Qwen3.8 Next 在大内存配入门 GPU 上跑大模型

Anyone sitting on a lot of slow system memory and a modest GPU.. try Strata + Qwen3.8 Next.

AI 导读

Reddit 用户分享用 Strata 搭配 Qwen3.8 Next 的 IQ3_XXS 量化权重(不到 80GB),在 DDR4 + 7900XTX 配置上达到约 45-70 token/s,而 llama.cpp 调优后同机仅约 22.5 t/s。12GB/16GB 显卡用户也报告类似结果,DDR5 用户更快,生成质量被认为可靠优于 Q2 权重方案。

来源:Reddit r/LocalLLaMA (开源AI) · reddit.com