Hugging Face Blog·2026-09-22 08:00· 8 天前精选AI 评分67

transformers 支持直接运行 llama.cpp 的 GGUF 量化模型

Transformers now runs llama.cpp quants

AI 导读

Hugging Face 宣布 transformers 支持加载 GGUF 模型，通过 from_pretrained 传入 gguf_file 即可在 Apple Silicon Mac 上本地生成。

推荐理由

原文给出 GGUF 在 transformers 中的加载方式、量化档位选择建议和与 llama.cpp 的对比数据，可据此判断本地推理工作流的可行选项。

来源：Hugging Face Blog · huggingface.co