arXiv论文提出模块化智能体的基于证据验证审计协议
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对模块化智能体修改单一组件后仅靠聚合任务分数评估的缺陷，Ali Atiah Alzahrani提出基于证据的验证审计协议。该协议不直接给智能体打分，而是为每个结论记录证据及四种裁决（支持、无支持、未解决、未评估）与成立边界。通过三种工具提供证据：用Oracle策略衡量可达改进以区分环境与评估问题；逐一替换组件为完美对应物定位价值损失；单独测试验证器分数是否真实界定目标量。在合成市场受限投资组合智能体上的应用表明，完美信息价值取决于动作集、场景生成器丢弃大量信号且运行时验证器可被绕过而无结果变化。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载聚合分数评估缺陷与审计协议
开发者在更改智能体的控制器、学习模型或验证器等单一组件时，通常依赖聚合任务分数来评判变更效果。然而该分数无法揭示改进是否可达、哪个组件损失了价值，或智能体自身的检查认证了什么。为此，新提出的验证审计协议针对具备规划、行动、检查和精炼能力的模块化智能体，转向对证据进行评分。协议要求记录每个结论背后的证据，并给出支持、无支持、未解决或未评估四种裁决，同时明确结论成立的边界范围。
三种证据供应工具及机制
该审计协议依靠三种工具供应证据。首先，Oracle策略在明确声明的动作集下衡量可达改进，使得低价值可追溯至评估而非环境。其次，通过逐一将组件替换为完美对应物来定位损失价值，当下游组件可能掩盖问题时，零结果被解读为未解决。最后，通过单独测试验证器的分数是否识别了它被读取为界定的数量，来检验验证器的有效性。
投资组合智能体上的实证发现
该协议被应用于具有已知隐藏机制的合成市场中的受限投资组合分配智能体。审计揭示了三个具体发现：完美机制信息的价值取决于用于衡量它的动作集；场景生成器丢弃了大部分机制信号，而更好的局部保真度并未改善决策；运行时验证器可以被绕过，且在结果上没有可见变化。论文强调其贡献在于协议及强制执行的证据区分，实证发现特定于所研究的智能体与环境。
为什么值得看
为模块化智能体组件变更提供细粒度归因与验证框架，解决传统聚合分数无法定位价值损失及验证失效的问题。
智能体论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。