混合 NoPE 模型如何在无位置编码的情况下学习位置

混合架构将滑动窗口注意力等局部混合层与使用 NoPE 的全局注意力层交错，局部层会在残差流中留下相对位置特征，使相邻 token 表示更相似，形成近因偏置。全局 NoPE 注意力据此学习 query 和 key 投影，将这种滞后相关的残差结构转化为带近因偏置的注意力 logits，无需显式注入相对位置。该偏置在训练中增强，并在网络更深层更明显。