Reddit r/MachineLearning· /u/BitExternal4608·· 1 天前AI 评分40
CoWindow 与 MassAlloc Attention：协同因果覆盖与按分布自适应分配计算 [R]
CoWindow and MassAlloc Attention: collective causal coverage and distribution-adaptive compute [R]
AI 导读
作者在 Reddit 分享两篇注意力机制论文：CoWindow Attention（CoWA）用互补窗口把远端上下文分布到各 KV 头，联合覆盖全部因果历史，无需可学习路由器；MassAlloc Attention（MALA）保留完整因果 QK 打分，用 softmax 统计量自适应跳过低贡献的后续计算。
来源：Reddit r/MachineLearning · reddit.com