arXiv 论文提出知识蒸馏中可靠性与安全性的信息论边界
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇提交至 arXiv 的论文从信息论角度研究 AI 知识蒸馏过程中的可靠性与安全性权衡。作者证明了一条不依赖具体模型形式的普适权衡不等式，其边界由单一参数 Kh 决定，该参数衡量隐藏层区分良性输入与危险输入的能力。论文还构建了 AI 响应行为的玻尔兹曼机模型，推导出可靠性与安全性之间的两个精确关系：权衡曲线由危害判别能力 K 决定，整体回答倾向则控制曲线上的工作点。在知识蒸馏中，教师模型的响应会使学生的权衡参数发生重整化；作者用重整化群方法研究多代蒸馏，针对两种代表性直接代际蒸馏协议，在任意师生对齐强度下给出精确递推关系与重整化群式流。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载权衡边界的参数化
论文的核心结论是一条普适的权衡不等式，它不依赖模型的具体形式。这条不等式的边界只由一个参数 Kh 决定，Kh 描述的是隐藏层把良性输入与危险输入区分开的能力。换句话说，模型在可靠性与安全性之间能走到哪一步，被这个判别能力卡住。作者随后建立 AI 响应行为的玻尔兹曼机模型，得到可靠性与安全性之间的两个精确关系：权衡曲线的形状由危害判别能力 K 决定，而模型整体的回答倾向决定它落在曲线上的哪个位置。论文称这些关系与已有实验数据吻合较好。
蒸馏中的参数重整化
在知识蒸馏场景下，论文发现教师模型的响应会让学生模型的权衡参数发生重整化，也就是学生继承的不只是输出行为，其可靠性与安全性的权衡参数也被教师改写。作者进一步用重整化群方法处理多代蒸馏，针对两种代表性的直接代际蒸馏协议，在任意师生对齐强度下推导出精确的递推关系以及相应的重整化群式流。这些流给出不动点结构、长期演化与临界行为，并据此对能力损失与稳定传递之间的临界转变给出可检验的预测。
为什么值得看
把蒸馏中的安全与可靠性权衡写成可计算的边界与递推关系，为多代蒸馏的能力衰减与稳定传递提供可检验预测。
蒸馏量化对齐安全论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。