新方法评估自主智能体罕见事件概率，效率提升超800倍
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载稀有事件概率的估计难题
当智能体被赋予更高自主性后，其随机输出轨迹上极罕见的事件也可能发生，并带来严重后果。因此安全部署的关键不在于这类事件是否会出现，而在于它们出现的频率有多高。论文研究的目标正是估计由智能体自身动作的随机波动所引发的稀有事件概率。这类风险评估需要在组合数量极其庞大的轨迹空间中搜索，朴素的蒙特卡洛方法在该情形下计算代价过高，难以承受。要构造有效的重要性采样提议分布，则需要对一条依赖上下文的、由条件分布串联而成的链条做协同调整，难度同样不小。
扰动权重构造提议分布
作者提出一种新的重要性采样方法，其做法是扰动原模型的权重来构造提议分布。这个提议分布本身就是一个可微分参数化的语言模型，因而可以在权重空间上做基于梯度的搜索。研究团队设计了一个目标函数，它由两部分组成：一部分是可微的事件放大替代目标，另一部分为自适应正则化机制，用于在放大事件与保持估计器稳定之间动态取得平衡。这一思路与直接对轨迹采样或手工设计提议分布的做法不同，把搜索的对象从轨迹层面移到了模型权重层面。
评测规模与效率表现
实验覆盖约 1.2 亿参数与约 26 亿参数两类模型，涉及三个事件族、300 多个稀有事件，其中事件的稀有程度低至十的负九次方量级，参考概率以低于百分之十的相对标准误计算得出。在可验证性最强的若干设定中，对于概率低于十的负七次方的事件，该重要性采样估计器相对朴素蒙特卡洛取得了超过 800 倍的计算加权效率提升。作者同时公开了实现代码。对读者而言，这意味着在智能体部署前评估极端罕见失败的概率，多了一种在权重空间做梯度搜索的可选路径，其适用范围限于由智能体自身动作随机性所产生的事件。
为什么值得看
解决自主智能体极低概率风险的高效估算难题，为安全部署提供量化依据，计算效率大幅跃升。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。