注册

ID2Pattern：用匿名ID行为模式预训练交易风控基础模型

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

arXiv 上的一篇论文提出 ID2Pattern 预训练框架，用于把身份字段的行为模式引入交易基础模型。作者指出，卡号、设备、账户等高基数身份字段虽含行为信号，但因词表持续增长、语义有限，现有基于词表或语义的编码方式并不适用；可泛化的信号在于身份在交易序列中呈现的行为模式。方法上，先用 Local Anonymous ID（LAID）分词器编码身份字段，捕捉每个身份在序列中出现与复现的方式而不依赖具体取值，再在无标注序列上预训练多尺度模式码本，把 LAID 序列抽象为离散行为模式供下游预测。在超过 1 亿条序列的工业数据集和六个公开数据集上，ID2Pattern 平均分别提升 4.13% 和 8.83%；当训练中所有身份取值均未见过时效果依然保持。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

要解决的问题

论文关注在线支付系统中大规模行为预训练的一个缺口：卡、设备、账户这类高基数身份字段本身携带丰富行为信号，却长期未被充分利用。作者认为障碍来自编码方式：这类字段的词表不断增长，单个取值能表达的语义又很有限，因此按词表枚举或按语义映射的编码都不合适。论文给出的判断是，可泛化的信号不在身份的具体取值上，而在同一身份于一条交易序列中反复出现所形成的行为模式上。这一判断决定了后续方法不追求记住某个 ID 是什么，而是刻画它在序列里如何出现。

方法与训练流程

ID2Pattern 分两步。第一步用 Local Anonymous ID（LAID）分词器处理身份字段，把每个身份在序列中的出现位置与复现情况编码出来，且不依赖该身份的具体取值，从而绕开词表规模问题。第二步在无标注序列上预训练一个多尺度模式码本，把 LAID 序列进一步抽象成离散的行为模式，供下游预测任务使用。这样，模型学到的是模式层面的表示，而不是与具体 ID 绑定的记忆，这也是论文强调其可泛化性的来源。

实验设置与结果

实验在一份工业数据集和六个公开数据集上进行，工业数据集规模超过 1 亿条序列。结果显示 ID2Pattern 稳定优于对比基线，工业数据集平均提升 4.13%，公开数据集平均提升 8.83%。论文还给出一个更贴近实际部署的检验：当训练阶段完全没有出现过的身份取值进入时，方法效果依然保持，作者据此认为它具备推广到新用户与新市场的潜力。论文共 13 页、6 张图，提交时间为 2026 年 10 月 30 日。

为什么值得看

对做支付风控与序列建模的人，它给出一种绕开高基数 ID 词表、直接学习行为模式的预训练思路，并报告了未见身份下的泛化结…

论文数据集

信源1 家

  1. [1]arXiv cs.AI一手信源ID2Pattern: Pretraining Generalizable Identity Behavior Patterns for Transaction Risk Foundation Models

关键事实

  • 论文提出 ID2Pattern 预训练框架，将身份行为模式引入交易基础模型[1]

  • LAID 分词器编码身份字段在序列中的出现与复现方式，不依赖具体取值[1]

  • 在无标注序列上预训练多尺度模式码本，将 LAID 序列抽象为离散行为模式[1]

  • 在超 1 亿条序列的工业数据集上平均提升 4.13%，六个公开数据集平均提升 8.83%[1]

  • 训练中所有身份取值均未见过时，方法效果依然保持[1]

相关 · 论文

清华姚期智团队提出代数世界模型AWM，ARC-AGI-3全关卡通关

11月1日 周日·AI 78

新芯航途发布X7 Ultra芯片，700TOPS，用Momenta世界模型做评测

10月31日 周六·AI 72

LSA 稀疏注意力方法：百万级上下文下提速最高 72.4 倍

10月31日 周六·AI 78

ID-WM 分层世界模型提出，长程任务性能提升 135%

10月31日 周六·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论