TAPES:面向交易事件序列的任务对齐联合预测预训练框架

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 TAPES 框架,用于交易事件序列的预训练。同一批交易记录可产生语义不同的预测目标,包括数值、变化以及与历史事件的关系,这些目标对历史表示提出的约束各不相同,但仅凭可预测性无法判断一组目标对下游任务是否有用;此外,逐目标计算的预测损失没有显式建模目标之间的条件共现关系。TAPES 从可允许的字段与算子组合中构造有限的候选目标集,在预算匹配的条件下,通过短程联合预训练试验,按所学表示的下游效用挑选目标集,随后重新初始化编码器,用共享离散隐变量参数化的联合似然在选定目标上预训练,再做下游监督适配。在真实交易风险场景和多个公开金融基准上,TAPES 优于代表性基线,消融实验验证了目标选择与联合建模的作用。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

要解决的问题

论文关注在线商业与数字金融服务中的交易事件序列预测。同一份交易记录可以派生出语义不同的预测目标:有的是数值本身,有的是数值的变化,还有的是当前事件与历史事件之间的关系。这些目标对历史表示提出的约束并不一致。论文指出两个缺口:其一,一个目标集是否值得使用,不能只看它自身是否容易被预测,还要看由它学到的表示对下游任务是否有用;其二,逐个目标分别计算预测损失的做法,没有显式刻画目标之间的条件共现结构。

目标集的筛选流程

TAPES 的第一步不是直接训练,而是先划定候选空间:从可允许的字段与算子组合出发,构造一个有限的候选目标集集合。随后在预算匹配的条件下,对每个候选目标集做短程联合预训练试验,再根据试验所得表示在下游任务上的效用进行挑选。这样,目标集的选择依据从“预测得准不准”转为“学到的表示好不好用”。确定目标集之后,框架重新初始化编码器,避免短程试验的权重影响正式预训练。

联合似然与实验表现

正式预训练阶段,TAPES 在选定的多个目标上做联合预测,并用一个共享的离散隐变量参数化联合似然,从而在建模中体现目标之间的关联,而不是把它们当作彼此独立的任务。预训练完成后,模型进入下游监督适配。实验覆盖一个真实世界的交易风险场景,以及多个公开金融基准上的多样化下游任务;结果显示 TAPES 超过代表性基线。消融研究进一步分别检验了预测目标选择与联合建模这两部分的作用。

为什么值得看

金融与电商交易序列的预训练目标该怎么选,论文给出了可复用的筛选流程与联合建模做法,并附真实风险场景与公开基准结果。

对齐论文

信源1 家

  1. [1]arXiv cs.AI一手信源TAPES: Task-Aligned Joint Predictive Pretraining for Transaction Event Sequences

关键事实

  • 论文提出 TAPES,一个面向交易序列的任务对齐联合预测预训练框架[1]

  • TAPES 从可允许的字段与算子组合中构造有限的候选目标集[1]

  • 目标集按短程联合预训练所得表示的下游效用来选择,且各试验预算匹配[1]

  • 选定目标后重新初始化编码器,用共享离散隐变量参数化的联合似然进行预训练[1]

  • 在真实交易风险场景与多个公开金融基准上,TAPES 优于代表性基线,消融实验验证了目标选择与联合建模的贡献[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。