HRIL：用高阶张量建模多模态协同信息，被 NeurIPS 2026 接收
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载协同信息为何难保留
论文关注的是自监督多模态表示学习中的一个具体缺口：跨模态交互复杂，导致协同信息难以被捕捉。作者把协同与共享信息区分开——共享信息在各个模态中都能找到，而协同信号只在多个模态的联合配置下才出现，单独看任何一个模态都无法还原。由此，论文的问题设定不是「如何对齐模态」，而是「如何在多模态表示中保住这类协同信号的信息容量」。作者的观察是，协同信息反映在模态之间的高阶统计依赖上，这为显式建模联合交互提供了一个有依据的目标，而不是仅靠对比学习隐式地逼近。
张量与正则项的做法
基于上述观察，作者提出 Higher-order Representation and Information Learning（HRIL）。具体做法是在模态嵌入之上构建经验交叉矩张量，用这个张量来承载多路交互；随后对张量做 Tucker 分解，得到一个核心张量。为了不让协同信息在训练中被压缩掉，方法还配了一个协同感知正则项，作用是防止能量集中，从而保留高阶耦合能力，使表示仍具备捕捉协同信号的容量。整条路径的核心是把「模态间高阶依赖」变成可显式优化的对象，而不是留给模型自行发现。
实验表现与开放情况
实验分两部分：受控的协同任务，以及真实世界的基准。结果显示，HRIL 相对已有的多模态对比方法取得一致提升；在那些由协同交互主导的任务上，增益尤为明显，这与方法的设计目标相符。论文被 NeurIPS 2026 接收，代码已在论文给出的链接公开，便于复现与在此基础上继续实验。论文提交时间为 2026 年 10 月 8 日，编号 arXiv:2610.12393，属于 cs.AI 与 cs.LG 分类。
为什么值得看
多模态模型常丢掉只在模态联合时才出现的信号，这篇给出可复用的张量建模思路与公开代码。
信源1 家
关键事实
论文标题为 HRIL: Learning Multimodal Synergy via Higher-Order Tensor Modeling，作者包括 Qun Dai、Liangjian Wen、Jiang Duan 等共 10 人。[1]
方法在模态嵌入上构建经验交叉矩张量表示多路交互，并用 Tucker 分解得到核心张量。[1]
论文加入协同感知正则项，用于防止能量集中并保留高阶耦合能力。[1]
在受控协同任务与真实基准上，该方法相对现有多模态对比方法取得一致提升，协同交互主导的任务增益更明显。[1]
论文被 NeurIPS 2026 接收，代码已公开，提交日期为 2026 年 10 月 8 日。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。