论文提出k鲁棒联盟对齐解决AI代理授权安全
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载长时程智能体的控制难题
论文把长时程运行的智能体所面对的控制问题拆成一条因果链：智能体每执行一个动作都会改变环境状态，而状态的变化又会影响后续动作的走向。当智能体并未完全对齐时，要让运行过程保持安全，就必须在那些会带来重大后果的动作真正执行之前先取得批准。可是，如果每一步都要求人工批准，人的注意力就会成为整个流程的瓶颈。把审核工作交给其他智能体看似能缓解这一瓶颈，但审核者本身也可能没有对齐，于是原来的对齐问题被原样转移到了审核环节。论文由此把关注点放在审核小组需要满足什么条件上，而不是要求每个审核者都单独对齐。
容忍若干否决的阈值规则
论文设定的机制是：提议智能体给出一个动作方案，每位审核智能体判断该方案相对于基线策略能否提升自己的效用，并据此表态。系统采用阈值规则，允许出现 k 个否决意见。作者给出的结论是，这条规则安全，当且仅当在任意移除 k 位审核者之后，委托方的效用都能写成剩余审核者效用的非负线性组合，再加上一个在所有可行提议上都不为负的项。作者把这一性质称为 k-robust coalitional alignment，即 k 鲁棒联盟对齐。它比逐个审核者都对齐的要求更弱，却仍是安全保证成立的必要且充分条件。
从单步审核到序贯控制
这一判定条件可以推广到序贯决策场景。在带折扣的马尔可夫决策过程中，无论提议智能体是什么样子，只要每个状态上的安全性都成立，诱导出的策略就能达到或超过基线水平，而且这一条件同样是必要且充分的。论文还讨论了审核者采取策略性投票的情形：当审核小组在奖励函数空间上实现全覆盖时，一致批准规则下的每个纳什均衡都是安全的；反过来，即使每位审核者单独来看都已对齐，更宽松的阈值也可能让不安全的均衡出现。作者用现有审核模型做了实验，结果显示，即便容忍部分否决意见，集体审核仍可能保持可靠性，而不依赖某一位已对齐的个体。
为什么值得看
为解决多代理系统中的授权安全与对齐问题提供了新的理论框架与安全保证。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。