C-SafeGen 提出基于声明的流式护栏,为 LLM 生成提供安全认证

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

论文提出 Claim-based Stream Decoding(CSD)算法,配合基于 conformal analysis 的统计风险保证框架。CSD 在生成过程中接入流式护栏模型,对 LLM 依次产出的声明逐条检查,并对被标记为高风险的声明启用回溯机制进行改写。作者给出理论证明:该算法在满足安全约束的前提下逼近目标生成分布,并推导出生成风险的高概率上界,证明安全风险可渐近控制到任意期望水平。实验与真实数据验证了方法相对现有安全解码方案的有效性、效率,以及上界的合理性与紧致性。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

从检测转向解码期干预

论文指出,现有护栏模型主要承担检测职能,即判断生成内容是否违规,而不负责保证解码过程本身产出安全内容;同时,这类方案缺少严格的安全保证,而这一点对 LLM 的普遍部署和满足监管合规要求都很关键。作者由此把问题定位在解码阶段:不只做事后判别,而是在生成过程中介入。其提出的 CSD 算法把流式护栏模型嵌入解码流程,以声明为单位对模型依次输出的内容做安全检查,使安全约束在生成时即被施加。

回溯改写与理论保证

在 CSD 中,被流式护栏判定为高安全风险的声明不会直接输出,而是触发回溯机制,由模型对该声明进行修订。作者从理论上说明,该算法能够在满足安全约束的条件下达到期望的生成分布,即安全干预不以完全牺牲目标分布为代价。除算法本身外,论文还建立了生成风险认证框架,借助 conformal analysis 推导出所提方法安全风险的高概率上界,并证明该风险可被渐近地压到任意设定的水平,这为「可认证」提供了形式化依据。

实验验证的两个方面

实证部分包含两类评估:一是将 CSD 与当前先进的安全解码方法对比,考察其有效性与效率;二是使用真实数据检验所推导安全风险上界的合理性与紧致性,即上界是否成立、是否过于宽松。论文摘要未披露具体数据集、基线名称与量化提升幅度,相关细节需查阅原文。该工作归入 cs.AI 分类,提交时间为 2026 年 10 月 26 日。

为什么值得看

把护栏从「事后检测」推进到「解码期可认证控制」,并给出风险上界,对需要合规证明的 LLM 部署有参考价值。

安全论文

信源1 家

  1. [1]arXiv cs.AI一手信源C-SafeGen: Certified Safe LLM Generation with Claim-Based Streaming Guardrails

关键事实

  • 论文提出 Claim-based Stream Decoding(CSD)算法,将流式护栏模型接入生成过程,对逐条声明进行安全检查。[1]

  • CSD 包含回溯机制,对被标记为高安全风险的声明进行修订。[1]

  • 作者使用 conformal analysis 构建统计风险保证框架,并推导出安全风险的高概率上界。[1]

  • 论文证明该方法可将安全风险渐近控制到任意期望水平。[1]

  • 实验对比了现有安全解码方法,并用真实数据验证所推导上界的合理性与紧致性。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。