注册

研究提出 LLMON 后训练方法，间接提示注入攻击成功率降至 0.02%-5.…

论文AI 评分 78/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 LLMON（LLM Object Notation）后训练方法，让模型把可执行指令与被动数据分开，并要求执行必须带显式标识符。研究构建了 4.6B token 的结构化训练语料，覆盖通用、RAG 与工具调用数据，并加入含干扰指令和无关数据的变体。作者对两个 Granite-4.1 基座模型（3B 与 8B）先做监督微调、再做强化学习，结果显示间接提示注入基准上的攻击成功率从 53%-100% 降至 0.02%-5.6%，同时通用能力保持不变。论文还给出基于注意力的可解释性指标，用于定位结构化输入在各 transformer 层的失效模式。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

把指令与数据分开

这项研究关注的是大模型处理上下文时的一个结构性缺陷：可执行的指令与被动数据被同等对待，缺少显式区分。由此带来三类问题，一是提示注入攻击有机可乘，二是指令与内容的绑定关系含糊，三是执行控制不够可靠。作者提出的思路是用 LLMON（LLM Object Notation）作为载体，在格式层面把指令和数据分置，并要求执行动作必须通过显式标识符来引用目标，而不是依赖模型自行判断哪段文字该被执行。这一做法不改变模型结构，而是把执行语义写进训练数据，让模型在标准后训练流程中学会这套约定。

训练语料的构造方式

为支撑上述方法，作者构建了一个大规模结构化训练语料，规模为 4.6B tokens，覆盖通用数据、RAG（检索增强生成）数据以及工具调用数据三类场景。语料中还加入了干扰变体：上下文中存在相互竞争的指令和无关的数据片段，但这些内容并未被引用。这样的设计让模型在训练阶段就接触到「上下文里有东西但不该被执行」的情形，从而学会依据标识符而非邻近位置来决定是否执行。语料规模与场景划分构成了后续监督信号的基础。

后训练流程与模型选择

实验以两个 Granite-4.1 基础模型为对象，参数量分别为 3B 和 8B。训练分两步走：先做监督微调，再进入强化学习阶段。作者强调的是，整套流程属于常规后训练手段，没有对模型架构做任何修改，结构化监督带来的执行语义是「教」进去的，而非靠改结构实现。这一点决定了方法的适用范围——它可以叠加在已有的后训练管线上，而不要求重新设计模型。

效果与可解释性观察

在间接提示注入基准上，经 LLMON 结构化监督后，攻击成功率由 53-100% 降至 0.02-5.6%，同时通用能力得以保持。作者还提出基于注意力的可解释性指标，用于在单个 transformer 层上诊断结构化输入下的失效模式，从中可以看出该方法如何改变模型内部的注意力分布。对读者而言，这意味着执行语义可以通过标准后训练获得，而层级的注意力观察为定位问题提供了可检查的入口。

为什么值得看

把提示注入防御做进后训练而非改架构，并给出攻击成功率的具体降幅，对做 Agent 与工具调用的团队有直接参考价值。

RAG微调强化学习论文

信源1 家

  1. [1]arXiv cs.AI一手信源Post-Training Large Language Models with LLMON

关键事实

  • 论文提出 LLMON 框架，将指令与数据分离，并要求基于标识符的显式执行[1]

  • 训练语料规模为 4.6B token，涵盖通用、RAG 和工具调用数据，并含干扰项变体[1]

  • 后训练对象为 Granite-4.1 的 3B 与 8B 两个基座模型，流程为监督微调后接强化学习[1]

  • 间接提示注入基准的攻击成功率由 53%-100% 降至 0.02%-5.6%，通用能力得以保留[1]

  • 论文引入基于注意力的可解释性指标，用于诊断结构化输入在各 transformer 层的失效模式[1]

相关 · 论文

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

11月3日 周二·AI 78

OpenAI 推出 LifeVal 基准，衡量 AI 完成日常事务的能力

11月2日 周一·AI 72

清华姚期智团队提出代数世界模型AWM，ARC-AGI-3全关卡通关

11月1日 周日·AI 78

新芯航途发布X7 Ultra芯片，700TOPS，用Momenta世界模型做评测

10月31日 周六·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论