Gacha Decoding方法将多样性转为指令遵循问题
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
Gacha Decoding是一种推理阶段方法，旨在让语言模型生成更多样化内容。该方法将多样性视为指令遵循问题，结合模型指令遵循能力与外部随机数生成器工具，而非依赖词元熵。在开放域测试中，同等质量下其Vendi分数达次优方法的2.4倍，以少11.0倍的采样量获取同等数量高质量模式，并发现其他方法无法触及的新模式。随着底层模型指令遵循能力增强，该方法多样性持续提升，打破了模型能力与多样性间的矛盾。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载核心机制与设计洞察
Gacha Decoding是一种在推理阶段运行的方法，旨在让语言模型产生更多样化的输出，且多样性随模型能力增强而提升。其核心洞察是将多样性问题转化为指令遵循问题。传统方法依赖语言模型自身的词元熵来产生多样性，而Gacha Decoding则将模型的指令遵循能力与来自外部随机数生成器工具的随机性相结合。这种被称为“掷骰子规划”的方式，能够可扩展地识别并实现响应空间中不同的模式。
性能表现与采样效率
在包括自然对话、创意写作、图像生成规划及蛋白质设计等开放域测试中，Gacha Decoding表现显著。在保持同等质量的前提下，其Vendi分数达到次优先前方法的2.4倍。在获取相同数量高质量模式时，所需采样量比先前方法少11.0倍。此外，它还能发现其他任何方法都无法触及的新模式。这表明该方法在提升多样性的同时，大幅降低了计算与采样成本。
打破能力与多样性矛盾
长期以来，语言模型存在能力与多样性之间的张力矛盾。Gacha Decoding成功反转了这一现象：随着底层语言模型成为更好的指令遵循者，Gacha Decoding下的多样性会持续提升。即便模型的词元熵以及在先前方法下的多样性出现下降，Gacha Decoding的多样性依然改善。结果证明，指令遵循能力而非单纯的词元熵，能够有效驱动生成多样性。
为什么值得看
打破模型能力与生成多样性的矛盾，用指令遵循替代词元熵驱动多样性，大幅降低获取高质量多样结果的采样成本。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。