arXiv 论文提出目标—目标冲突类型，用于改进指令层级训练
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文指出，现有来自 OpenAI 和 NVIDIA 的指令层级训练集缺少「目标—目标冲突」这一类冲突。作者把任务拆成目标与约束后识别出该类型，并在 Qwen3.5-9B 与 Gemma4-12B-it 上用这类样本做微调，模型在训练中未见的真实任务上指令层级表现明显提升；把这些样本并入既有训练集后，遵循效果同样更好。在八个基准的无冲突任务上，平均效用变化很小。作者主张即使这类样本不反映典型 LLM 用法，也应纳入指令层级训练。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载训练集缺失的冲突类型
论文从指令层级（IH）的定义出发：模型只有在低优先级指令（如用户请求）与高优先级指令（如系统策略）不冲突时，才应执行前者。作者把任务拆解为目标与约束两部分，由此发现一类此前未被覆盖的冲突——目标与目标之间的冲突。现有来自 OpenAI 和 NVIDIA 的指令层级训练集都不包含这种样本，而模拟冲突样本的多样性正是让模型在测试时正确处理冲突的关键。作者据此认为，训练数据的覆盖范围存在一处具体空白。
微调实验与效果
作者用这类目标—目标冲突样本分别微调 Qwen3.5-9B 与 Gemma4-12B-it，模型在训练中未出现过的多类真实任务上指令层级遵循表现显著改善；把同样的样本补充进既有指令层级训练集后再微调，效果也优于只用原训练集。作者同时检查了副作用：在八个基准的无冲突任务上，平均效用只有很小的变化，说明提升遵循度并未以明显牺牲正常任务表现为代价。
作者的主张
论文主张把目标—目标冲突作为一种独立冲突类型纳入指令层级训练，即便这类样本并不代表典型的 LLM 使用场景。其论证逻辑是：测试时出现的冲突形态难以预判，训练阶段覆盖更多冲突类型，有助于模型在遇到未见冲突时仍按优先级行事。这一结论建立在上述两个模型与八个基准的实验之上，论文未给出更大规模模型或更多任务上的结果。
为什么值得看
指令层级是智能体安全执行系统策略的关键能力，该工作指出训练集的一处空白并给出可复用的数据构造思路。
OpenAIHugging FaceQwen智能体微调
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。