MIRROR：用自蒸馏把LLM个性化从模仿转向偏好内化
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载个性化需求转向内容质量
论文指出，业界对个性化大模型的需求正在从风格模仿转向内容质量，而现有微调范式在这一转变上存在局限。作者由此提出一个研究问题：自蒸馏能否弥合这一差距。围绕该问题，工作把个性化建模的目标从复现参考文本改为内化用户偏好，并据此设计了MIRROR框架。这一出发点决定了后续方法不再以参考token的逐字模仿为核心，而是关注模型自身生成分布与参考条件下分布之间的一致性。
在线策略自蒸馏的做法
MIRROR全称为Meta-personalization by Internalizing Reference-Revealed On-policy Reflections。它用参考揭示的在线策略自蒸馏替换参考token模仿：在模型自己的生成轨迹上，把下一token分布对齐到其参考条件下的自身分布，从而把用户偏好内化进模型，而不是把参考文本照搬出来。在此基础上，MIRROR-F作为焦点插件，在在线策略分布对齐之外，对信息量较高的参考token施加选择性监督，目标是在保留用户特有表达的同时增强内容生成能力。
评测结果与抗遗忘表现
论文在三个个性化生成基准、两种模型规模上进行了评测，并同时采用基于参考和基于LLM的两类评价方式。结果显示，MIRROR与MIRROR-F在总体个性化表现上领先，文本质量也更优。在三个未见过的个性化生成任务上，它们表现出的灾难性遗忘少于基于SFT的基线。作者还提到，这些增益在不同模型规模和应用场景之间保持一致，并转化为个性化任务上的性能提升。
为什么值得看
个性化微调正从模仿风格转向提升内容质量，该工作给出可复用的自蒸馏方案并报告了抗遗忘优势。
信源1 家
关键事实
论文标题为MIRROR: From Imitation to Internalization in LLM Personalization，作者为Huayi Lai、Jicheng Yang、Min Yi、Chong Meng。[1]
MIRROR用参考揭示的在线策略自蒸馏替代参考token模仿，对齐模型自身生成轨迹上的下一token分布。[1]
MIRROR-F是对信息量高的参考token施加选择性监督的焦点插件。[1]
在三个个性化生成基准、两种模型规模及基于参考与基于LLM的评测中，MIRROR与MIRROR-F取得领先的总体个性化表现和更优文本质量。[1]
在三个未见过的个性化生成任务上，其灾难性遗忘少于基于SFT的基线。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。