EvoRiskBench发布：评估工作区智能体运行时安全风险
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把风险拆成入口与效果
EvoRiskBench 的核心是一套名为 EP-Path-EF 的组织框架。它把工作区智能体在运行过程中可能遭遇的风险，拆解为三个相互衔接的环节：一个初始的风险入口点、一条由智能体自身行为促成的风险路径，以及由此产生的一跳技术效果。框架据此划定了九类入口点与五类效果，用来给具体案例归类。为了让这套分类站得住脚，研究团队组织了二十名参与者进行考察，验证这些类别在代表性案例上是否容易被理解、归类结果是否一致。这套做法与以往只关注模型输出内容是否越界的评测不同，它把观察点放在智能体实际调用工具、读写外部资源的执行环节上，试图覆盖此前基准测试没有触及的可执行层面。
自动造题与独立核验
在框架之上，作者搭建了一条自动化的端到端流程，用来生成并执行风险案例。案例运行在隔离环境中，避免对真实系统造成影响。判定一个案例是否构成风险，并不依赖单次输出，而是同时借助运行时留下的轨迹与环境状态两类证据，独立完成结果核验。最终形成的基准包含四百五十个对抗性任务，分布在六个场景中，构成一份可复现的数据集。这种以轨迹和状态为准的核验方式，与只看最终回答是否合规的评测形成对照，也让不同配置之间的比较有了统一的执行条件。
九种配置的实测差距
评测覆盖九种模型与执行框架的组合，涉及三个模型与三个执行框架。结果显示，各系统普遍存在明显薄弱环节。表现最差的组合攻击成功率达到 68.44%，说明仅靠调整工作区智能体的配置，并不足以保证自主执行过程的安全。数据还显示，攻击成功率在模型之间的波动，比在执行框架之间的波动更大；而执行框架带来的差异，又取决于搭配的是哪一个模型。这意味着安全表现并非由单一环节决定，模型与框架的搭配方式会改变最终结果。对使用这类智能体执行多步任务的读者而言，更换模型或更换执行框架都可能显著改变暴露面，需要按组合而非按单项来评估。
发布节奏与适用边界
作者表示，基准案例与评测平台会在完成制品安全与可复现性检查之后对外发布，因此当前公开的是方法与评测结论，数据集本身尚待放出。就适用范围看，这套基准针对的是把大语言模型与执行外壳结合、需要访问或修改外部资源的有状态多步任务，并不覆盖其他类型的智能体应用。它的价值在于把运行期风险变成可重复执行的案例，并给出跨配置的可比数字；但由于案例集合与场景数量有限，结论反映的是所测配置在给定任务上的表现，不能直接外推到未纳入评测的模型、框架或任务形态。
为什么值得看
揭示主流大模型与执行框架组合在工作区智能体场景下存在严重安全漏洞，为安全评测提供新范式。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。