注册

研究提出对齐泛化预测任务，激活表征相关性达0.45

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一项研究提出「对齐泛化预测」任务，即预测模型在微调遵循某一价值后，在大量未见过价值上的行为变化。作者对现代对齐目标中的66种价值做了大规模分析，并对比表征方法。结果显示，基于模型在上下文中应用价值时激活的表征，明显优于基于价值文本描述的方法：最佳激活方法与本研究的泛化矩阵相关性为0.45，描述类基线为0.05。作者还用这类表征衡量多价值对齐目标中各价值的相似度，发现其与模型鲁棒性显著相关，并给出存在共享、与模型无关的价值空间的初步证据，据此提出首个基于实证泛化动态的LLM价值分类体系。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

对齐泛化预测任务

论文关注一个具体问题：开发者通过后训练让模型表现出亲社会价值与行为特征，这些特征被列在对齐目标中。尽管近期的后训练进展让模型在对齐评测上得分很高，但用一组范围狭窄的行为训练模型，仍会以难以预料的方式影响模型在未见过的情境与环境中的表现。作者据此提出「对齐泛化预测」任务，目标是预测把模型微调为遵循某一给定价值后，它在大量留出的其他价值上的行为会如何变化。这一任务把原本模糊的「对齐会不会外溢」问题，转化为可用数据衡量的预测问题。

激活表征与文本描述对比

作者对现代对齐目标中出现的66种价值做了大规模泛化效应分析，并在该预测任务上对多种表征技术进行基准测试。对比结果指向一个明确差异：基于模型在上下文中应用价值时激活的表征，显著优于基于价值文本描述的方法。具体而言，表现最好的激活类方法与本研究的泛化矩阵达到0.45的相关性，而描述类基线只有0.05。这说明要预测价值泛化，直接读取模型内部激活比依赖价值的文字说明更有效。

从预测到下游应用

论文进一步展示这类表征的可用性。作者用能预测对齐泛化的表征去衡量一个多价值对齐目标内部各价值之间的相似程度，发现该相似度与模型鲁棒性显著相关，意味着表征不仅能预测泛化，还能为对齐目标的组合设计提供参考。作者还给出关于存在共享、与模型无关的价值空间的初步证据，并据此构建首个以实证泛化动态为基础的LLM价值分类体系。整体工作强调研究价值泛化的重要性，并指向更依赖实证的行为设计与训练方式。

为什么值得看

把「对齐会不会泛化」变成可预测的量化任务，并给出激活表征优于文本描述的具体对比，对做后训练与对齐评测的人有直接参考价值。

微调对齐论文

信源1 家

  1. [1]arXiv cs.AI一手信源Predicting Alignment Generalization with Value Representations

关键事实

  • 论文提出对齐泛化预测任务，即预测微调模型遵循某一价值后，在大量未见过价值上的行为变化[1]

  • 研究对现代对齐目标中的66种价值做了大规模泛化效应分析[1]

  • 最佳激活表征方法与泛化矩阵的相关性为0.45，基于文本描述的基线为0.05[1]

  • 用预测对齐泛化的表征衡量多价值对齐目标中各价值的相似度，发现其与模型鲁棒性显著相关[1]

  • 研究给出存在共享、与模型无关的价值空间的初步证据，并提出首个基于实证泛化动态的LLM价值分类体系[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论