X-AgentRed:面向个人智能体的自演化红队框架发布
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载要解决的问题
个人智能体越来越多地通过工具连接网络与各类应用。当这些动作的效果在多个服务之间累积并相互作用时,智能体在执行用户的正常请求过程中也可能产生非预期或有害的结果。要提前找出这类组合式失败,就需要系统地探索跨服务的多种路径。已有的红队方法通常只是让大模型根据任务和环境描述指出可能有害的路径,或者把人类或大模型给出的有害目标拆解成看似无害的动作组合。论文认为,这类生成方式会偏向训练中学到的模式,更容易选择熟悉的工具组合,而新颖的跨服务交互则被探索不足。
框架的做法
X-AgentRed 的思路是让红队过程自我演化。它先分析每个工具的效果、可能造成的危害以及执行所需的前提条件,据此构建一张有向图,用来表示一个工具产生的效果如何满足另一个工具的执行前提。从这张图中采样出的“配方”会被实例化为现实场景,使智能体在其中产生有害结果。执行反馈则用于自我改进:一方面通过替换工具,让产生危害的路径更加多样;另一方面,对于执行受阻的失败路径,修正其前提条件,使后续步骤能够继续执行。这样,探索不再只依赖模型已有的偏好,而是由实际执行结果驱动。
评测结果
论文在四个前沿智能体模型上进行了测试。结果显示,X-AgentRed 的有害路径率是 STAC 的 1.77 倍,同时探索的工具集合更加多样,平均工具覆盖达到 STAC 的 2.99 倍。论文共 18 页,提交于 2026 年 10 月 9 日,编号为 arXiv:2610.13886,并提供了项目页面。
为什么值得看
个人智能体跨服务调用工具带来的组合式风险正被系统化测试,论文给出了可量化的对比结果。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
