注册

TAM：任务感知记忆蒸馏提升时空预测效率

论文AI 评分 62/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

研究者提出 TAM 框架，把冻结教师模型的知识组织成有界、可检索的历史记忆，记忆条目编码潜在特征、预测变化或流残差，并由任务特定的选择规则挑出相关历史参考。学生模型要么匹配教师对共享参考的相似度分布，要么回归以观测为条件的残差原型，这些目标与监督预测和常规蒸馏互补。教师、记忆与辅助适配器只在训练阶段使用，学生推理过程不变。在视频预测、天气预报和交通流预测上，四次配对运行平均后，TAM 在六个视频数据集上全部提升 SSIM，在五个数据集上降低 MSE，KittiCaltech、WeatherBench（gSTA 教师）与 TaxiBJ 的平均配对 MSE 降幅分别为 1.86%、1.93% 和 1.01%。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

逐样本蒸馏的缺口

现有知识蒸馏做法通常让紧凑学生模型逐样本匹配教师输出或特征，这种做法没有利用跨样本的预测结构。要利用这种结构，需要能反映每个任务动态的表示与历史参考。TAM 的出发点正是把教师知识从「逐样本对齐」转为「可检索的历史监督」，让历史参考参与学生训练，而不改变学生本身的推理路径。

记忆与选择规则

TAM 把冻结教师的知识整理成有界、可检索的历史。记忆条目可以编码潜在特征、预测变化或流残差三类内容，任务特定的选择规则负责从记忆中找出与当前任务相关的历史参考。学生端有两种匹配方式：一是对齐教师在这些共享参考上的相似度分布，二是回归以观测为条件的残差原型。这两类目标与监督预测损失、常规蒸馏损失叠加使用，互为补充。

训练期组件与推理成本

教师模型、记忆模块以及辅助适配器都只在训练阶段参与，学生推理阶段不引入任何额外组件，因此部署时的计算路径与未加 TAM 时一致。这一点决定了该方法可以直接叠加到已有的教师—学生蒸馏流程上，而不需要为线上推理增加记忆检索或适配器开销。

三类任务上的配对结果

评估覆盖视频预测、天气预报与交通流预测，并跨多种教师—学生配置。四次配对运行取平均后，加入 TAM 使六个视频数据集的 SSIM 全部提升，五个数据集的 MSE 下降。平均配对 MSE 降幅在 KittiCaltech 为 1.86%，在采用 gSTA 教师的 WeatherBench 上为 1.93%，在 TaxiBJ 上为 1.01%。这些结果说明历史化的教师监督在不同预测任务中都能带来收益，且不增加学生推理成本。

为什么值得看

训练期加记忆、推理期零开销，时空预测类任务可直接套用，且给出多数据集配对验证的量化增益。

蒸馏数据集

信源1 家

  1. [1]arXiv cs.AI一手信源TAM: Task-Aware Memory Distillation for Efficient Spatiotemporal Prediction

关键事实

  • TAM 将冻结教师的知识组织为有界、可检索的历史记忆，条目编码潜在特征、预测变化或流残差[1]

  • 学生模型匹配教师对共享参考的相似度分布，或回归观测条件下的残差原型[1]

  • 教师、记忆与辅助适配器仅在训练时使用，学生推理保持不变[1]

  • 四次配对运行平均后，TAM 在六个视频数据集上提升 SSIM，在五个上降低 MSE[1]

  • 平均配对 MSE 降幅为 KittiCaltech 1.86%、WeatherBench（gSTA 教师）1.93%、TaxiBJ 1.01%[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论