跳到正文
原文
Reddit r/LocalLLaMA (开源AI)· /u/SultanGreat·· 3 小时前AI 评分36

Qwen3.8 27B 在 16GB 显卡上如何获得更快推理速度?

What's the best setup for Qwen3.8 27b for a 16 gig VRAM?

AI 导读

一位使用 5060Ti 16GB 显卡、Ryzen 9600x 和 Fedora 44 的用户分享了他运行 Qwen3.8 27B 的调优经验,目标是在 llama.cpp 上实现至少 128k 上下文。

来源:Reddit r/LocalLLaMA (开源AI) · reddit.com