OwlSight 提出用因子定制 CoT 监控,覆盖多任务

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

arXiv 论文提出一种面向思维链(CoT)监控的因子策略:把监控需求写进提示词,让同一个监控器依靠不同因子覆盖不同任务,因子分为细粒度与粗粒度两类,例如前者监控某个具体邮箱是否泄露,后者监控隐私泄露。基于该策略构建的监控器 OwlSight 只依赖因子,监控能力、安全、可信等多个维度的行为。在 15,971 条推理轨迹上的实验显示,OwlSight 在细粒度与粗粒度上分别比通用大模型高 1.32-30.57 分和 11.71-27.81 分,并在 OpenAI 的 CoT 可监控性基准上取得当前最优结果;它还能泛化到未见模型的 CoT,对因子改写、CoT 压缩与混淆保持稳健。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

因子驱动的监控思路

现有 CoT 监控方法多针对特定任务设计,而推理模型的监管需要覆盖更广的任务范围。论文提出的 Factor for CoT monitoring 把监控要求写进提示词,由不同因子承载不同监控目标,从而让同一个监控器适配多种任务,而不必为每类任务单独训练。因子被划分为细粒度与粗粒度两种:细粒度可指向具体对象,例如某个邮箱地址是否被泄露;粗粒度则指向一类风险,例如隐私泄露。这种分层让使用者按需选择监控的精确程度。

OwlSight 的覆盖范围

在因子策略之上,作者构建了名为 OwlSight 的 CoT 监控器,它只依赖因子来监控多个维度的行为,涵盖能力、安全与可信。由于监控目标由提示词中的因子定义,同一套监控器可以在不同维度间切换,而不局限于单一任务场景。论文将其定位为一种可用于前沿 AI 监督的监控范式。

实验数字与稳健性

实验覆盖 15,971 条推理轨迹。结果显示,OwlSight 在细粒度上比通用大模型高出 1.32 至 30.57 分,在粗粒度上高出 11.71 至 27.81 分,并在 OpenAI 的 CoT 可监控性基准上达到当前最优。除精度外,论文还报告了泛化与稳健性表现:该方法可迁移到未见模型的 CoT,面对因子改写、CoT 压缩以及混淆处理时仍保持稳定,这些正是实际部署监控器时常见的干扰因素。

为什么值得看

CoT 监控是前沿模型监督的关键环节,该工作用提示词因子统一多任务监控,并给出可量化的领先幅度。

OpenAI大模型安全论文

信源1 家

  1. [1]arXiv cs.AI一手信源OwlSight: A Panoramic Monitor for Chain-of-Thought Reasoning

关键事实

  • 论文提出 Factor for CoT monitoring 策略,在提示词中定制监控需求,使单个监控器依靠不同因子覆盖不同任务[1]

  • 因子分为细粒度与粗粒度两类,分别对应监控具体邮箱是否泄露与监控隐私泄露这类不同需求[1]

  • OwlSight 仅依赖因子监控能力、安全、可信等多维度行为[1]

  • 在 15,971 条推理轨迹上,OwlSight 在细、粗粒度分别比通用 LLM 高 1.32-30.57 分与 11.71-27.81 分[1]

  • 该方法在 OpenAI 的 CoT monitorability 基准上取得当前最优,并对因子改写、CoT 压缩与混淆保持稳健[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。