塞壬之歌：当近邻背景上下文遮蔽远距离证据

长上下文 LLMs 专注于从广泛的上下文中检索远距离证据，但现有研究主要集中于克服距离本身带来的影响。在本文中，我们发现了“近邻陷阱”：对远距离证据关注不足，往往并非主要源于距离本身，而是源于大量与任务无关的近邻背景所造成的累积竞争。为应对“近邻陷阱”，我们提出 LYRA (Long-context heavY-tailed Relevance Alignment)，这是一种基于 t 分布的方向匹配机制，能够重塑上下文检索分布，将更多注意力权重引向与任务相关的证据，同时保留所编码的相对位置信息。在 LongBench-v2、RULER 和 LongBench 上进行的大量实验表明，LYRA 在不同上下文长度和任务类别下均取得了稳定提升。我们进一步提出 ProxBench，这是一个多层级细粒度基准，用于评估近邻背景干扰不断增强时对远距离证据的利用能力。项目主页：https://xiaoyuyoung.github.io/LYRA/