研究揭示世界模型存在后门攻击风险
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载复用检查点带来的风险
预训练世界模型是一种学习得到的模拟器，它把观测编码成潜在状态，并预测该状态在动作作用下如何演变。这类模型正像今天的预训练编码器和语言模型那样，被当作现成的动力学骨干复用到控制任务中。论文指出，这种复用方式引入了一条供应链层面的后门通道：攻击者只需控制对外发布的检查点，就能劫持下游控制器，而受害方全程只用干净数据训练与评估，从未见过触发器。攻击并不写入显式的“触发器到动作”规则，而是让被投毒的模型把带有触发器的观测引导到选定的潜在区域，并重塑该处的局部动力学，使受害方自身的优化过程重新发现攻击者设定的目标动作。
受害方优化被反向利用
论文点明了两类受害方优化路径：一类是 Dreamer 风格的演员训练，在想象中进行；另一类是 MPC/CEM 规划，在预测的未来上搜索动作。无论走哪条路径，控制器最终都会自行收敛到攻击者想要的动作上。在多个控制任务和多种触发器族上，触发器都能把控制器动作引向攻击者指定的目标，覆盖每一个动作维度，并在最强设置下劫持全部被触发的步骤。这种效果具有时间门控性质：只在触发器存在时出现，触发器一旦移除便消失。也就是说，模型在无触发器时的行为与正常模型无异，异常只在特定输入条件下被激活。
干净诊断难以识别
被投毒的检查点仍能通过受害方在部署前通常会运行的干净数据诊断，干净任务的成功率保持在论文给出的下限之上。这意味着常规的部署前评估无法把这类检查点与正常检查点区分开。论文还讨论了不依赖触发器的修复方式，其效果取决于投入的预算：适度的干净微调可以保住干净任务上的效用，却让被触发的失败原样保留；只有足够激进的适配才能消除该失败，但代价是干净控制性能明显下降。修复因此处在一个两难区间，难以同时兼顾干净效用与后门清除。
对复用者的含义
论文的结论是，世界模型骨干本身正在成为一个新兴且尚未被充分审视的攻击面。对于把他人发布的检查点直接接入控制流程的团队而言，风险不只来自数据或训练管线，也来自模型权重这一环。论文附带说明，完整代码与工件已在其仓库中公开，供进一步核查。作者署名为 Roberto Riaño、Gorka Abad、Stjepan Picek 与 Aitor Urbieta，论文归入密码学与安全、人工智能及机器学习等分类。
为什么值得看
揭示世界模型复用中的新型安全漏洞，影响基于模型的控制算法部署。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。