REGER：用语义ID显式建模物品间关系的生成式推荐框架
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对生成式推荐中随机初始化的语义ID词嵌入与从零训练的模型无法直接继承物品语义关系、协同关系只能通过词级注意力隐式学习的问题，作者提出统一框架REGER，把物品间关系显式注入语义预训练、历史编码与SID生成三个环节。具体做法包括：通过生成式语义检索预训练，让模型学习生成语义邻居的SID；结合全局注意力与按SID边界对齐的局部注意力，捕捉历史上下文与相邻物品间的有向转移；并给出SID前缀树上分层偏好分解的理论框架，证明协同偏好分布的精确分解，以及物品级KL散度可加权分解为前缀条件KL散度。在此基础上，从判别式教师模型蒸馏真实前缀下所有合法下一token的完整条件分布，与交叉熵联合优化。真实数据集实验显示其稳定优于现有GR基线。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题出在SID嵌入
生成式推荐的做法是自回归地生成物品的离散语义ID（SID）。但材料指出两个结构性缺陷：SID的token嵌入是随机初始化的，模型又从零开始训练，因此物品本身固有的语义关系无法被直接继承；物品之间的协同关系则主要靠token级注意力和下一token监督隐式学到，缺乏显式约束。REGER的出发点就是把这两类关系从隐式变为显式，并贯穿到语义预训练、历史编码和SID生成三个阶段。
预训练与注意力设计
在预训练阶段，REGER采用生成式语义检索任务，让模型学习生成语义邻居的SID，从而在生成过程中继承物品间的语义相似性。在历史编码阶段，模型同时使用全局注意力与局部注意力，其中局部注意力与SID边界对齐，用来刻画历史上下文以及相邻物品之间的有向转移。这样，序列中的物品关系不再只依赖注意力自行发现，而是由结构设计引导。
前缀树上的偏好分解
作者为SID前缀树建立了一个分层偏好分解的理论框架，证明协同偏好分布可以被精确分解，同时物品级的KL散度能够加权分解为若干前缀条件KL散度。这一分析为后续训练目标提供了依据：沿目标SID路径，在真实前缀处对判别式教师模型进行蒸馏，取其对所有合法下一token的完整条件分布，再与交叉熵联合优化。材料称实验在真实数据集上稳定超过现有GR基线，并验证了偏好蒸馏的有效性。
为什么值得看
推荐系统从业者可关注其把物品关系显式注入SID预训练与生成过程的思路，以及配套的偏好蒸馏方法。
蒸馏对齐论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。