研究揭示长上下文大模型“近邻陷阱”并提出LYRA机制
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
长上下文大模型在检索远端证据时，常因大量任务无关的近端背景竞争而忽视远端内容，此现象被称为“近邻陷阱”。为解决该问题，研究提出LYRA机制，采用t分布方向匹配重塑检索分布，将更多注意力引向相关证据并保留位置信息。在LongBench-v2等三个基准测试中，各上下文长度与任务类别均获稳定提升。此外，研究还推出ProxBench基准，用于评估近端背景干扰递增下的远端证据利用情况。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载近邻陷阱现象剖析
长上下文大语言模型的核心能力在于从海量文本中提取远端证据。过往研究多将检索失败归咎于距离过远，但本文指出，注意力不足实则源于近端大量任务无关背景信息的累积竞争。这种近端背景对远端关键信息的遮蔽效应被定义为“近邻陷阱”，揭示了长文本处理中检索衰减的真正机理。
LYRA检索对齐机制
针对上述陷阱，研究团队提出LYRA机制。该机制引入t分布方向匹配方法，对上下文检索分布进行重塑。其核心在于将更多注意力质量导向任务相关证据，同时保留编码在模型中的相对位置信息，避免在增强远端检索时丢失位置感知能力，从而在干扰背景下精准定位关键内容。
实验表现与新评测基准
实验环节，LYRA在LongBench-v2、RULER及LongBench三大长文本评测集上展现出跨上下文长度与任务类别的一致性能提升。为更精细衡量该现象，研究还构建了ProxBench基准。该基准具备多层次细粒度，专门用于评估在近端背景干扰逐步递增的条件下，模型对远端证据的实际利用效果，为长上下文评测提供了新维度。
为什么值得看
揭示长上下文模型检索衰减的真正原因并非距离而是背景竞争，并提供有效对齐机制与新评测基准。
大模型上下文长度基准测试
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。