Reddit r/LocalLLaMA (开源AI)· /u/pmttyji·· 16 小时前AI 评分32
WaveFront Decoding：面向 Looped 语言模型的自推测解码并行加速框架
[Paper] WaveFront Decoding: Parallelized Self-Speculative Decoding for Looped Language Models
AI 导读
WaveFront Decoding（WFD）是一种免训练的自推测解码框架，针对 looped 语言模型重复调用权重共享模块导致的解码延迟问题，将不同深度的 token 状态组织成对角波前，在同一批 recurrent-block 调用中并发执行草拟与验证。
来源：Reddit r/LocalLLaMA (开源AI) · reddit.com