研究用上下文激活预测答案激活，可跨模型迁移
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出「上下文—答案元模型」，把模型阅读上下文时产生的激活序列，映射为对答案激活的预测，其中答案激活是平均池化后的结果；预测形式包括点预测和分布预测。研究考察了四类元模型，它们都能较准确地预测答案激活，分布类模型还能反映随机解码下的答案波动。训练集扩到 50 万条提示时效果继续提升，且能零样本迁移到域外数据集；预测结果仍保留可预测行为的信号。作者还发现，Qwen2.5 的上下文激活可用于预测 Qwen3.5 与 Gemma 4 的答案激活，提示这种预测可跨模型迁移。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法思路
随机解码下，同一段上下文可能引出多种答案；要刻画这种差异，通常得反复做自回归 rollout，每次只看到一个结果，成本很高。作者换了个角度：模型读上下文时已经产生激活，能否直接用这些激活去预测后续 rollout 的激活？他们训练「上下文—答案元模型」，输入是上下文激活序列，输出是平均池化答案激活的点预测或分布预测，共研究四类元模型家族。
实验结果
四类元模型都能较高保真地预测平均池化答案激活，其中分布类模型还能反映 rollout 之间的差异，而不只是给出一个均值。训练数据规模扩大后效果继续改善，到 50 万条提示时仍在提升；模型对域外数据集也表现出零样本泛化。作者还检验了预测结果是否保留可预测行为的信号，结论是保留。
跨模型迁移
一个值得注意的发现是跨模型迁移：用 Qwen2.5 产生的上下文激活，可以预测 Qwen3.5 和 Gemma 4 的平均池化答案激活。这意味着激活预测未必绑定在单一模型上。作者据此认为，上下文激活轨迹有望在生成第一个答案 token 之前，为 LLM 答案行为提供可扩展的预测手段。
为什么值得看
若成立，可在生成第一个答案 token 前预判模型行为，省去大量昂贵的自回归采样，对评测与推理成本控制有参考价值。
Qwen论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。