张量网络数据模型TNDM提出，用于训练数据归因
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载低秩张量网络建模数据子集
这项研究关注的是训练数据归因问题：当训练集中的某些部分被纳入或被剔除时，模型行为会如何变化。已有的线性数据模型为每个训练单元分配固定贡献值，无法刻画多个训练单元共同产生的非加性联合效应。作者提出张量网络数据模型（TNDMs），用低秩张量网络来表示训练单元之间的依赖关系，同时让表示保持紧凑。该模型学习的是一个映射：输入是训练数据的某个子集，输出是在该子集上训练得到的结果，因此能够表达若干训练单元之间的交互作用。作者还证明，互补的训练组与冗余的训练组可以引出高阶的子集函数，而这类函数仍能拥有紧凑的低秩表示。换言之，模型不必为每个子集单独存储参数，也能覆盖组合层面的影响。
一次拟合回答多类问题
按照论文的描述，一个拟合完成的 TNDM 可以服务于多种与训练数据有关的问题：预测删除某部分数据会带来什么效果，衡量单个训练单元的重要性，识别训练单元之间的交互关系，以及挑选出有用的训练数据子集。这与线性数据模型的用法形成对照：后者把贡献视为固定且可相加的量，遇到训练组之间存在强交互时，预测能力会受到限制。TNDM 的做法是把子集到训练结果的映射整体学出来，因此同一份拟合结果可以复用到上述几类查询上，而不必针对每个问题重新建模。论文将这种能力归因于低秩张量网络对高阶子集函数的紧凑表达能力。
受控任务与微调实验表现
评估分为两部分。一部分是专门设计、包含强交互作用的受控任务；另一部分是分类与推理场景下的常规微调设置。在一个受控推理任务上，TNDM 在只观察一半数量训练子集的情况下，表现优于所有基线。在事实关联微调中，单个 TNDM-CP 把留出集上的 R² 从线性数据模型的 0.579 提升到 0.668。论文还报告，在只观察到全部可能训练子集中的很小一部分之后，TNDM-TT 相对线性数据模型大幅降低了预测 NMSE。作者据此说明：当训练数据的效果取决于多个训练组的组合时，紧凑的低秩模型能够改善预测。这些结果指向的适用范围，是训练单元之间存在明显交互的数据归因场景；对于贡献可以近似相加的情形，线性数据模型仍是更简单的选择。
为什么值得看
训练数据归因是数据估值与数据筛选的基础工具，该工作把线性模型扩展到可表达单元间交互，并给出可复用的单一模型。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。