MatrixFormer：专为矩阵补全设计的原生Transformer基础模型
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
现有表格基础模型将矩阵补全视作逐条目预测，重复上下文且丢弃二维结构。MatrixFormer作为预训练的矩阵原生Transformer，能在单次前向传播中为所有缺失项预测完整分布。该模型完全在合成低秩与潜因子矩阵上训练，覆盖多种缺失模式。使用相同模型权重进行零样本应用，在因果推断面板数据、大模型基准分数补全、表格插补及推荐系统矩阵补全四类任务上均取得竞争力表现，成为该领域的通用基础模型。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载现有方法的二维结构缺陷
矩阵补全是表格插补与因果推断等问题的底层基础。然而，当前的表格基础模型通常将其视作逐条目的预测任务来处理。这种方式在针对每个目标进行预测时，需要重复使用上下文信息，从而丢弃了矩阵本身固有的二维结构特征，导致计算效率与结构信息的双重损失。
单次前向传播与合成训练
为解决上述问题，研究团队提出了MatrixFormer。作为一种预训练的矩阵原生Transformer，它能够在单次前向传播中，为矩阵里的每一个缺失条目预测出完整的分布情况。在训练策略上，该模型完全依赖于合成的低秩矩阵以及潜因子矩阵进行训练，并在训练过程中引入了多种多样的数据缺失模式，以增强模型对不同缺失场景的适应能力。
跨领域零样本应用表现
在应用层面，MatrixFormer使用同一套模型权重，在零样本设定下即可实现跨领域的有效部署。具体测试涵盖了因果推断中的面板数据任务、语言模型基准分数的补全、常规表格数据的插补，以及推荐系统领域的矩阵补全。在这四类差异显著的任务中，该模型均取得了具有竞争力的表现，确立了其作为矩阵补全通用基础模型的定位。
为什么值得看
单次前向传播解决多维矩阵补全，零样本泛化至因果推断与推荐系统等跨领域任务。
大模型
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。