FactorEngram 论文：基于基向量级门控的分解式 N-gram 记忆

FactorEngram 是一种带基向量级上下文门控的分解式 n-gram 记忆方法，在共享基向量字典上检索稀疏正则化系数，让相关模式复用公共组件，并由骨干网络隐状态对每个记忆分量单独门控。在 340M 和 1B 参数 Transformer 骨干上，FactorEngram 提升了语言建模和下游任务表现，消融实验发现将记忆分支插入中间层注意力子层之前是有效配置。