AdvSim2Real：在Web世界模型中防御自适应提示注入攻击
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载网页代理为何会被劫持
网页代理要替用户完成请求，就必须读取第三方撰写的页面，并依据页面上的内容采取动作。问题在于，页面里既可能藏着与用户目标无关的指令，也可能承载任务真正需要的取值和控件。代理无法用一概不理页面的方式来规避风险，因为一旦忽略页面，任务本身也就无法推进。于是，被植入的指令有机会把代理从用户原本的目标上引开。论文把这一矛盾作为出发点：页面既是攻击面，也是任务信息的来源，二者无法简单切割。
现有防御的失效之处
论文指出，当前一类防御思路是在训练之前把注入样本固定下来，再据此对代理做微调。这种做法的问题在于，攻击者可以针对已经训练好的模型调整自己的注入方式，从而绕过防御。另一条思路是对抗训练，它允许攻击者随训练过程变化，但任务本身保持固定，因此一旦代理学会解决某个任务，这个任务就不再提供新的训练信号。两种思路各自只让一方保持动态：要么攻击固定、任务固定，要么攻击可变而任务停滞。
三方共同演化的训练方式
AdvSim2Real 的做法是在一个冻结的网页世界模型内部，让任务课程、注入对抗方和代理三者一起演化。任务课程获得的奖励，来自代理大约一半次数能解决的那些任务，也就是难度处在中间地带的题目。注入对抗方获得的奖励则限定为成功翻转，即某条注入把原本被判定为成功的执行变成失败。这样，课程负责持续提供有区分度的任务，对抗方负责持续寻找能改变结果的注入，代理则在两者夹击下更新。训练在模拟器中进行，作者报告说，一个 4B 规模的代理在能力与鲁棒性两方面都得到提升：无论有无攻击，其完成率都上升，并且能顶住一个它从未在训练中见过的前沿模型对手，能力上的增益还迁移到了真实浏览器环境。
适用范围与读者可关注的点
论文给出的评测场景是 150 个网页任务，在这批任务上，面对上述未见过的对手，AdvSim2Real 相对基础代理提高了完成率。需要留意的是，这一结果来自模拟器中的训练与特定任务集合，论文强调的是能力增益向真实浏览器的迁移，而非对所有网页环境的普适保证。对关注网页代理安全的人来说，这项工作的意义在于把任务难度、攻击强度和代理能力放进同一个循环里共同调整，而不是把其中某一项固定住；同时它提示，代理的鲁棒性评测需要引入会随模型变化的对手，否则固定注入样本下的表现可能高估实际防护水平。
为什么值得看
解决Web代理面对动态适应型提示注入攻击的防御难题，提升智能体在复杂网页环境中的安全性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。