研究揭示智能体安全基准对工具命名高度敏感，单一评分不可靠
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载衡量表示敏感性的新指标
这篇论文关注的是面向大语言模型智能体的安全基准测试。此类测试通常以攻击成功率作为衡量模型稳健性的指标，并据此比较不同模型与防御手段，默认这些分数能够描述智能体的安全水平。作者提出疑问：基准测试所采用的表示方式本身，是否也会左右测量结果。为刻画这一影响，论文引入了一个名为威胁保持表示敏感性的指标。它的定义方式是：在任务本身、有害动作、安全策略、标准答案、运行环境以及评判标准都保持不变的前提下，只改动智能体可见的表示形式，观察攻击成功率随之变化的幅度。换言之，该指标试图把表示变化带来的波动，从真正的安全能力差异中分离出来。论文共 12 页，含 2 幅图，归类于密码学与安全，同时涉及人工智能与机器学习方向。
三个基准上的实测差异
作者在三个既有基准上做了对照实验。在 Agent Security Bench 上，把与威胁相关的工具名称替换为威胁中性的名称后，已实施攻击的成功率出现上升，GPT-5-mini 上升 11.67 个百分点，Claude Haiku 4.5 上升 13.21 个百分点。在 MCPTox 上，把原本中性的工具名换成带有明确威胁指向的名称，攻击成功率反而下降，GPT-5-mini 下降 11.00 个百分点，Claude Haiku 4.5 下降 4.11 个百分点。在 AgentDojo 上，给与攻击相关的工具加入威胁相关措辞，攻击成功率只变动 0.50 个百分点，但在需要使用该工具的任务上，正常用途下的效用下降了 5.36 个百分点。这些数字说明，同一安全问题在不同表示下会得到方向与幅度都不一致的分数。
名称特征与适用范围
论文还专门在 MCPTox 上做了一组实验，考察名称本身哪些特征在起作用。结果显示，一个在词元数量、长度和大小写风格上都与威胁显式名称对齐的威胁中性名称，能够复现威胁显式名称所造成的大部分偏移：在 GPT-5-mini 上，11.00 个百分点的变化中有 8.54 个百分点由此产生。这意味着部分差异未必来自语义上的威胁暗示，而可能来自名称的表面形式。由此得出的适用范围与限制是：在单一表示下测得的分数，未必能推广到同一安全问题的其他威胁保持表示上。论文因此建议，稳健性主张应当由一组受控的威胁保持表示上的综合表现来支撑，而不是依赖某一个受表示影响的单一分数。
为什么值得看
揭示现有安全评分因工具命名等表面表示而剧烈波动，评估智能体安全性不能只看单一分数。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。