论文拆解 LLM 集成增益来源，指出增益归因依赖对照条件
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载研究问题与实验设计
论文关注 LLM 集成增益的测量方式。作者指出，集成增益常以单一基线衡量，但归因于额外候选的价值会随所用对照而变化。为此研究设置四种匹配条件：Direct 不使用候选；Single-slot 在多槽界面中放入一个候选；Duplicate 将一个候选重复；Multi-candidate 使用分别生成的候选。通过这种设计，作者把候选数量与候选多样性分开考察。
增益的代数拆分
在任一非多样性对照下，整体候选增益 CIV 可代数拆分为额外候选对比 DSV 与候选上下文对比 CCV。作者强调，拆分方式取决于所选对照，而 CIV 本身不随对照改变。这意味着同一组候选在不同参照下会被归因出不同的来源。
两个数据集上的重复差距
在 MultiHopRAG 模型多样性（k=2）上，重复差距 Rep=-8.33 个百分点，区间 [-13.25, -3.75]，量化了以 Duplicate 与 Single-slot 为对照所测增益之差。在匹配的 FRAMES 更强面板扩展（n=200，k=3，聚合器输出上限 4096）上，配对 Delta Rep=+9.67 个百分点 [+6.00, +13.50]；面板内 Rep 变号，原为 -6.33，更强为 +3.33。在 FRAMES 证据聚合中，候选上下文对比在两种非多样性对照下均保持强负。
对评测实践的含义
作者由此提出，集成评估在把增益归因于额外候选之前，应先说明参照对照。论文共 14 页、6 张图，归类于 cs.CL 与 cs.AI，编号 arXiv:2610.18786。
为什么值得看
提醒做 LLM 集成评测时，增益数字会随对照条件变化，需先声明参照基准。
信源1 家
关键事实
论文在四种匹配条件下研究 LLM 聚合器：Direct、Single-slot、Duplicate、Multi-candidate。[1]
在任一非多样性对照下，整体候选增益 CIV 可代数拆分为 DSV 与 CCV，拆分依赖对照而 CIV 不依赖。[1]
在 MultiHopRAG 模型多样性（k=2）上，重复差距 Rep=-8.33 个百分点 [-13.25, -3.75]。[1]
在 FRAMES 更强面板扩展（n=200，k=3，聚合器输出上限 4096）上，配对 Delta Rep=+9.67 个百分点 [+6.00, +13.50]，面板内 Rep 变号。[1]
论文认为集成评估在归因额外候选增益前应说明参照对照。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。