研究者提出 Curriculum of Models 方法，用模型课程逐步发现…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
自动越狱发现的目标是找出能让经过安全训练的语言模型输出被禁止行为的提示，以便开发者在部署前发现漏洞。已有做法之一是用强化学习训练一个调查模型去生成这类提示。难点在于：如果直接对着安全训练过的目标训练，几乎每条提示都会被拒绝，调查模型得不到有效反馈，奖励信号极其稀疏，学习难以推进。此前的工作用 propensity bound（PRBO）缓解这一问题，做法是从一个更顺从的目标采样回复来估计代理奖励，再按这些回复在原始目标下出现的可能性做修正。
课程式训练怎么做
CoM 换了一条路径：不直接对着原始目标训练，而是准备一串目标的修改版本，按难度排序。训练从很少拒绝有害请求的版本开始，调查模型在这个容易的版本上先学会诱导出指定行为；一旦它能稳定做到，就切换到下一个更难的版本，如此逐级推进，最终落到原始目标上。这样每一步的奖励都不再稀疏，调查模型始终有可学的信号。论文将这一思路定位为解决稀有行为诱导中稀疏奖励问题的一种候选方案。
评测设置与结果
评测涉及三类诱导任务：CBRN 材料、爆炸物和非法药物，目标模型为两个开放权重模型 gemma-4-31b-it 与 gpt-oss-120b，对照方法是 PRBO 以及不带课程、直接在原始目标上训练。结果显示，当调查模型只被训练去诱导单一行为时，CoM 找到成功越狱的可靠性高于两个基线。当同时训练多种行为时，CoM 训练出的调查模型能够诱导出训练中未包含的留出行为，体现出一定的迁移，但在这一设定下 PRBO 训练的调查模型成功率更高。作者据此认为，对目标模型施加简单课程，是应对稀有行为诱导中稀疏奖励的一条有前景的路线。
为什么值得看
越狱发现是模型部署前的红队环节，该工作给出缓解奖励稀疏的训练课程思路，并公开了与 PRBO 的对比结果。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。