LTBD:用可学习信任边界分隔符防御提示注入

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 LTBD,一种轻量级提示注入防御方法。它不改动大模型参数,而是用少量可学习分隔符在输入中显式编码信任边界,把可信的用户指令与不可信的外部数据区分开,让模型更好地遵循预期的信任层级。实验显示,LTBD 明显优于推理时防御手段,与基于训练的方法表现相当,同时保持正常任务效用、推理开销可忽略。在 AlpacaFarm 上攻击成功率 0.00%,在 TaskTracker 上为 0.11% 至 0.19%,在攻击者完全了解防御并试图绕过的自适应攻击下仍然有效。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

把信任来源写进输入

这篇论文把提示注入的根源归结为一点:模型看不到输入里哪部分来自可信的用户、哪部分来自不可信的外部数据,也就是缺少对信任来源的显式表示。作者提出的做法叫可学习信任边界分隔符,思路是在输入中显式编码信任边界,用少量可学习的分隔符把可信的用户指令与不可信的外部数据区分开,让模型更倾向于遵守预设的信任层级。整个过程中大语言模型的参数保持不变,因此不需要对模型做微调,也不依赖人工手写的提示词。论文作者为 Luman Zhao、Minghui Xu、Yue Zhang、Yijun Yang,共 5 页,含 3 张表和 1 张图,提交时间为 2026 年 10 月 8 日,编号 arXiv:2610.11634,主题分类涉及密码学与安全以及人工智能。

与已有防御路线的差别

论文把现有防御的局限归纳为三类:需要微调模型、容易被自适应攻击绕过、或者依赖脆弱的人工构造提示。LTBD 被定位为一种轻量防御,它不改变模型参数,只调整输入侧的表示,因此避开了微调带来的成本。实验结果显示,它的表现明显好于推理阶段的防御手段,同时与基于训练的方法相比也具有竞争力;在保持正常任务可用性的前提下,额外引入的推理开销可以忽略。论文还专门考察了自适应攻击场景,即攻击者完全了解这套防御并试图绕过它,LTBD 在该场景下依然有效。

效果与适用边界

论文给出的关键指标是攻击成功率:在 AlpacaFarm 上为 0.00%,在 TaskTracker 上为 0.11-0.19%。这两个数字对应的是恶意指令未能覆盖用户意图的比例,数值越低说明防御越稳。需要留意的是,这些结果来自论文自身的实验设置,覆盖的是上述两个评测场景,论文并未说明其在其他任务或数据分布上的表现。对使用大模型处理外部数据的人来说,这项工作的意义在于提供了一条不改模型权重、只改输入表示的防护路径,代价是推理开销很小,但实际部署效果仍需结合自身场景验证。

为什么值得看

不改模型参数、开销可忽略,且在自适应攻击下仍保持极低攻击成功率,对做 LLM 应用安全的人有直接参考价值。

大模型论文

信源1 家

  1. [1]arXiv cs.AI一手信源LTBD: Learnable Trust-Boundary Delimiters for Prompt Injection Defense

关键事实

  • 论文提出 Learnable Trust-Boundary Delimiters(LTBD),在输入中显式编码信任边界,保持 LLM 参数不变[1]

  • LTBD 使用少量可学习分隔符区分可信用户指令与不可信外部数据[1]

  • 实验显示 LTBD 明显优于推理时防御,与基于训练的方法表现相当,且保持正常任务效用、推理开销可忽略[1]

  • LTBD 在 AlpacaFarm 上攻击成功率为 0.00%,在 TaskTracker 上为 0.11% 至 0.19%[1]

  • 在攻击者完全了解防御并试图绕过的自适应攻击下,LTBD 仍然有效[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。