提出CoWindow与MassAlloc注意力机制论文

2026年9月29日，作者在 Reddit r/MachineLearning 分享了两篇注意力机制论文。第一篇是 CoWindow Attention（CoWA），其方法是用互补窗口将远端上下文分布到各个 KV 头上，联合覆盖全部因果历史，且无需可学习路由器。第二篇是 MassAlloc Attention（MALA），该方法保留完整的因果 QK 打分，并利用 softmax 统计量自适应地跳过低贡献 token 的后续计算。目前该事件仅有这一条报道，两篇论文的具体实验结果、发表期刊或会议信息等细节尚未见报道。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。