ECCV 2026收录双曲残差量化新方法

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

残差向量量化多在欧氏空间进行,难以适应数据的潜在层级。直接将其扩展至双曲空间会产生几何不一致:非结合性加法破坏残差聚合,标准直通估计器忽略空间几何。作者提出几何感知的双曲残差量化:前向通过双曲残差聚合恢复庞加莱球上的伸缩行为;后向通过折扣双曲直通估计器将重建梯度作为单一几何块路由,避免跨阶段的不稳定递归梯度传输。实验表明,该方法提升了层级预测、推荐、图像分词及神经音频编码任务中双曲残差码的稳定性与结构组织性。同时存在结构-压缩权衡:纯压缩欧氏法仍优,而层级组织的离散潜空间更适合双曲法。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

把残差量化搬进双曲空间

残差向量量化把连续表示拆成多级离散 token 序列,编码由粗到细逐层叠加。但现有做法大多在欧氏空间里完成,而不少数据本身带有层级结构。双曲几何被认为更适合承载层次化表示,直接把残差量化套用过去却会出问题:双曲加法不满足结合律,残差逐级累加无法保持一致;反向传播常用的直通梯度估计也没有考虑潜空间的几何形状。这篇论文提出的几何感知双曲残差量化,正是针对前向与反向两个环节分别修补上述缺陷。

前向聚合与反向梯度

前向环节,作者设计了双曲残差聚合,使残差量化在庞加莱球上重新具备逐级相消的伸缩特性,各级残差能够按预期叠加还原。反向环节则采用带折扣的双曲直通估计器,把重建梯度当作一个整体几何块穿过量化器,而不是在多个残差级之间做递归传递,从而避开不稳定的梯度搬运。两处改动合起来,让量化过程在保持双曲结构的同时具备可训练性。

四类任务上的表现

实验覆盖层级预测、推荐、图像 tokenization 与神经音频编码四类任务。结果显示,相比朴素的双曲基线,该方法的双曲残差码在稳定性和结构组织上都有改善。作者同时指出存在明显的结构—压缩权衡:如果目标只是纯粹压缩,欧氏残差量化仍然更合适;几何感知的双曲量化真正发挥作用的场景,是那些离散潜空间本身按层级组织起来的任务。这一结论为方法划定了适用范围,也说明它并非欧氏方案的通用替代品。

论文规格与发表情况

该论文主文 14 页,含参考文献与附录共 30 页,配有 3 幅图和 8 张表,被 ECCV 2026 的 Beyond Euclidean Workshop 接收,并以口头报告形式呈现。作者为 Alessio Colombo 与 Melika Ayoughi。对关注离散表示学习的读者而言,这项工作的价值在于给出了双曲残差量化在前向聚合与反向梯度两端的可行做法,并明确提示应按任务是否具有层级结构来选择方案,而非默认替换现有欧氏流程。

为什么值得看

解决双曲空间残差量化的几何不一致与梯度不稳定问题,为层级数据的离散化提供更优方案。

量化论文

信源1 家

  1. [1]arXiv cs.AI一手信源Geometry-Aware Hyperbolic Residual Quantization

关键事实

  • 提出几何感知的双曲残差量化方法,解决前向残差聚合与后向梯度传输的几何不一致问题[1]

  • 前向采用双曲残差聚合恢复庞加莱球上的伸缩行为,后向采用折扣双曲直通估计器避免不稳定递归梯度传输[1]

  • 在层级预测、推荐、图像分词与神经音频编码任务上验证了方法对稳定性和结构组织性的提升[1]

  • 发现结构-压缩权衡:欧氏法适合纯压缩,几何感知双曲量化适合层级组织的离散潜空间[1]

  • 论文被ECCV 2026的Beyond Euclidean Workshop接收为口头报告[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。