TS2Vec 改为一次性预训练的基础模型，线性探测逼近 SOTA
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载改造的三个步骤
作者提出的问题很具体：TS2Vec 原本每换一个数据集就要重新做自监督预训练再加线性探测，而领域趋势是复用同一个编码器。他们希望保留 TS2Vec 的紧凑卷积结构与直接处理变长时序样本、无需重采样的能力，同时只预训练一次。为此做了三处改动：预训练数据换成合成语料；输入端分成原始振幅视图与实例归一化后的形状视图，各经一个小型 stem 送入编码器；最后把每个视图各自的专家编码器蒸馏合并成一个编码器。三步之后得到的模型即 TS2Vec-FM。
冻结编码器的实测表现
TS2Vec-FM 是一个 1.6M 参数的膨胀卷积网络。评测时编码器保持冻结，只做线性探测：在 UCR-128 上取得 83.3%，在 UEA-27 上取得 75.3%。这两个数字与当前最优的 MantisV2 相差 0.3 个百分点，同时高于在每个目标数据集上分别训练的 TS2Vec。也就是说，一次性预训练的通用编码器在这两个基准上没有输给逐数据集定制的版本，差距被压缩到不足一个百分点。
与主流基础模型的架构差异
作者认为最值得注意的地方是设计取向的不同：TS2Vec-FM 没有使用注意力机制，没有 patch tokenizer，也不做中间层特征提取，编码器是较传统的卷积结构，输入端的 stem 只是两层 MLP。在多数时间序列基础模型转向 Transformer 类组件的背景下，这套组合仍达到了接近最优的精度，说明上述组件并非取得该性能的必要条件。材料未给出推理开销、显存占用或与其他模型的速度对比，也未说明合成语料的规模与构成。
为什么值得看
小体量纯卷积编码器冻结后接近 SOTA，说明时间序列基础模型未必依赖 Transformer 结构，值得关注其设计取舍。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。