CoTA++ 提出免训练框架，缓解扩散多模态模型重复生成问题
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载重复诅咒的成因
扩散式多模态大语言模型依靠双向注意力做迭代去噪来生成内容，这种解码方式无法沿用自回归模型的标准键值缓存。实际部署时通常采用近似缓存，在多个去噪步骤之间复用中间状态。问题在于，这种复用会让回复在相邻位置反复吐出同一个词，形成打断句子的连续重复，论文把这一失败现象称为 Repeat Curse。作者从上下文词元的信息流动入手追踪，把成因拆成三个层面的中断：单步之内，缓存把某个位置原本锚定在邻近上下文词元上的注意力打散；跨步骤时，基于相似度的刷新并不判断状态是否已经过时，导致部分位置是在陈旧的键值状态上完成解码；跨层方向上，上下文在深层的熵在重复出现的地方无法收敛。这三类中断分别发生在不同的解码环节，构成了后续修正的着力点。
三处对症的修正
针对上述三处中断，作者提出 CoTA++，它是一个无需训练、可直接插拔的框架，在每个问题产生的位置分别施加干预。第一处是上下文词元注意力重锚定，它依据当前上下文重新组织注意力路由，把被缓存打散的锚定关系拉回来。第二处是解码感知刷新，它在缓存的刷新预算中划出一部分，专门留给即将被确定的位置，避免这些位置对着过时状态解码。第三处是上下文词元熵引导投票，它用某个位置所在上下文的深层熵来折减该位置的置信度，并据此调整去掩码的先后顺序。三个组件作用在解码步骤中互不重叠的阶段，因此可以自由组合，与现有的扩散式多模态大语言模型及各类缓存方案搭配使用，不需要改动模型本身，也不需要额外训练。
效果与适用边界
论文在三个扩散式多模态大语言模型和两种缓存后端上做了验证。结果显示，CoTA++ 把长回复的样本重复率从材料给出的上限水平压到材料给出的较低水平，在九个基准上找回了因缓存而损失的大部分准确率，同时把缓存的加速效果保留下来，额外开销控制在材料所述的较小幅度内。这意味着近似缓存此前在扩散式多模态大语言模型上难以可靠使用，现在有了让它变得可用的手段。需要留意的是，这套方法针对的是采用近似缓存的扩散式解码场景，其收益来自对信息流动中断的修正，而非改变模型结构；三项组件各自负责一个环节，组合使用时按解码阶段分工，不产生重叠。
为什么值得看
做扩散式多模态模型推理部署的人可关注：它针对近似缓存导致的重复生成，给出免训练、可插拔的修法，并附重复率与准确率数据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。