IEEE S&P 2027收录推测解码安全研究,提出SecureSD

论文AI 评分 75/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

推测解码用小模型生成候选词再由大模型验证以加速推理,但存在安全隐患。该论文首次系统研究其安全影响,发现各类有损推测解码方法在提升推理效率时,越狱和提示注入攻击成功率飙升,安全代价远超效用损耗。作者指出安全退化主因是小模型早期生成词元,据此提出SecureSD方法,对早期位置词元施加更严验证标准。实验表明该方法在保持效率与效用同时显著增强安全性。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

草稿模型先出词再校验

投机解码的运作方式,是让一个体量较小的草稿模型先产出候选词元,再交由体量更大的目标模型逐一判定接受还是拒绝,以此加快大模型的推理过程。此前围绕这一方向的工作,关注点大多落在效率与可用性之间如何取舍,例如允许一定损失的投机解码方案,而它带来的安全影响基本没有被系统考察。这篇论文把这一空白补上,作者称其为首个针对投机解码安全影响的系统性研究。研究通过大规模测量展开,覆盖多种带损失的投机解码方法,观察效率提升与安全水平变化之间的关系。测量结果显示出一个明显的不对称:推理效率的改善伴随着不成比例的安全代价,越狱类攻击与提示注入类攻击的成功率上升速度,远快于可用性下降的速度。也就是说,效率上的一点点收益,可能对应安全防线上较大幅度的松动。

安全退化源自早期词元

在测量结论的基础上,作者提出了一种名为 SecureSD 的投机解码方法,其设计由理论分析引导,目标是在保持效率与可用性的同时提升安全性。理论分析给出的关键判断是:安全性的下降主要来自草稿模型在解码早期位置生成的词元。基于这一判断,SecureSD 的做法是对处于早期解码位置的草稿模型词元施加更严格的校验标准,而不是对所有位置的候选词元采用同一套接受或拒绝规则。这一思路与既有方案形成对照:以往的方法多从效率与可用性的权衡出发调整接受策略,SecureSD 则把校验强度按解码位置区分开来,把更严的把关放在影响安全的关键阶段。论文在安全与可用性两类基准上都做了实验,结果显示相较现有投机解码方法,SecureSD 在保住效率与可用性的同时,安全表现有明显改善。

适用范围与读者关注点

从材料给出的信息看,这项工作面向的是采用投机解码来加速推理的大语言模型部署场景,尤其是那些为了效率而接受一定损失的方案。它提示的限制在于:效率与安全并非同步变化,效率提升可能以更快的速度侵蚀安全,因此仅以可用性指标衡量取舍并不充分。对使用这类加速手段的读者而言,可关注的点在于校验策略是否需要按解码位置区别对待,以及早期词元为何成为风险集中处。论文篇幅为 18 页,被 IEEE S&P 2027 接收,归类涉及密码学与安全、人工智能、机器学习等方向,编号为 arXiv:2610.08678,提交时间为 2026 年 10 月 6 日,作者为 Yichi Zhang、Zhiqi Wang、Neil Gong、Yuchen Yang。

为什么值得看

揭示推测解码效率提升伴随严重安全代价,并提供兼顾安全与效率的修复方案,对大模型安全部署至关重要。

大模型安全论文

信源1 家

  1. [1]arXiv cs.AI一手信源Secure Speculative Decoding for Large Language Models

关键事实

  • 推测解码在提升推理效率时,会导致越狱和提示注入攻击成功率不成比例地大幅上升[1]

  • 安全退化主要源于草稿模型在早期解码位置生成的词元[1]

  • SecureSD对早期位置的草稿模型词元应用更严格的验证标准[1]

  • 该论文被IEEE S&P 2027接收,作者为Yichi Zhang等人[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。