ParanoiaEval 基准评估智能体编码过度防御
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把风险处置拆成四类
ParanoiaEval 把软件工程风险管理里已有的 Avoidance-Transfer-Mitigation-Acceptance 框架搬到了编码智能体的场景中，将这套框架里的四种基本处置方式逐一落到智能体的实际行为上。围绕这四类处置，该基准构建了 200 个仓库级任务对，每一对任务之间唯一的差别在于决定处置方式的那部分证据。这种设计让评测可以聚焦在同一个任务上，观察智能体是否会因为证据的不同而改变自己的风险应对选择，而不是把任务难度、代码规模等其他变量混在一起。作者称这是首个对编码智能体风险处置能力做统一评测的基准，此前相关工作大多从各自独立的角度考察智能体的行为，缺少一个把这类行为归拢起来的系统性框架。
两个新指标与评判方式
除了任务对本身，ParanoiaEval 还提出了针对风险处置违规和证据响应能力的专门指标。前者衡量智能体是否做出了与证据不符的处置，后者衡量智能体对任务中证据变化的敏感程度。为了让评测结果可靠，作者采用了一个经过人工校准的智能体评判器来完成打分，而不是完全依赖自动匹配或人工逐条阅读。这套指标与评判机制的组合，使得同一批任务上不同模型的表现可以被放在同一把尺子上比较，也便于后续研究复现和对照。
八模型实测的关键数字
作者在 8 个具有代表性的模型上做了大规模实验，并补充了一项事后人工研究。结果显示，即便任务中已经给出了明确证据，不必要的风险处置仍然出现在 11.2% 到 58.7% 的运行中，而且不同智能体配置之间的差异相当大。实验还发现，任务能力更强并不代表风险处置更恰当，两者并不绑定；同时，处置违规会明显损害开发者的使用体验。基于这些观察，作者把风险处置视为一个独立于任务能力的能力维度，而不是任务能力的附属产物。
对使用者的实际含义
实验还显示，智能体表现出的偏差模式与人类风险管理研究中已有的结论存在系统性的一致，这意味着来自人类实践的知识或许可以用来诊断和改进智能体的这一能力。对使用编码智能体的开发者而言，这些数字提示：在证据已经充分的情况下，智能体仍可能做出多余的防御性改动，而这类改动会直接影响协作体验。因此，在评估一个编码智能体时，除了看它能否完成任务，还需要单独考察它在风险处置上的判断是否与证据匹配，ParanoiaEval 提供的任务对与指标正是为此准备的参照。
为什么值得看
揭示强任务能力不等于恰当风险处理，为诊断和改进智能体过度防御提供独立评估维度与依据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。