Hugging Face Blog·· 2026-08-10AI 评分49
让知识蒸馏便宜到可大规模运行：Hugging Face 提出 Offline Top-K Logits 与融合分块 KL Loss
Making Knowledge Distillation Cheap Enough to Run at Scale
AI 导读
Hugging Face 发布论文，提出两项系统改进降低 LLM 知识蒸馏成本：缓存 teacher 的 top-100 logits 实现 offline 蒸馏，以及将输出投影融合进 loss 计算的 fused chunked KL loss。
来源：Hugging Face Blog · huggingface.co