Reddit r/LocalLLaMA (开源AI)· /u/jacek2023·2026-10-01 19:18· 2 小时前AI 评分41

llama.cpp PR #29761 为 Qwen 添加 MTP 支持

Qwen4Exp: add MTP by am17an · Pull Request #29761 · ggml-org/llama.cpp

AI 导读

am17an 向 llama.cpp 提交的 PR #29761 已为 Qwen 添加 MTP（多 token 预测）支持，合并前仅开发 17 小时，用户现可在 Qwen Flash Next 上使用 MTP。文末提供量化版本链接，并讨论是否该从 Qwen 3.8 27B 切换过来。