注册

WISD 用弱化模型自蒸馏，无需外部教师提升推理能力

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 WISD（Weakening-Induced On-Policy Self-Distillation），不再依赖特权信息构建更强的自教师，而是先构造原模型的弱化版本，用原模型与弱化版本之间的对比作为训练信号。弱化方式有两种：低比特量化和幅度剪枝。在数学与代码推理任务上，量化与剪枝分别让平均准确率比原模型提升 4.0 和 5.5 个百分点。剪枝把 Qwen3.5-4B 在 HMMT 2025 上的准确率从 57.7% 提到 70.5%，在 LiveCodeBench v6 上从 39.1% 提到 56.7%；量化把 Qwen3.6-35B-A3B 在这两个基准上分别从 68.5% 提到 74.6%、从 61.8% 提到 69.5%。代码已放出。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

弱化模型替代强教师

常见的自蒸馏做法需要借助特权信息，才能构造出比原模型更强的自教师；一旦手上只有无标注的 prompt，这条路就走不通。WISD 把方向反过来：先得到原模型的一个能力更弱的副本，再让原模型去对齐、区分自己与这个弱副本之间的差异，把两者的对比当作训练信号。这样训练过程不依赖任何额外的标注或特权信息，适用范围扩展到只有 prompt 的场景。论文给出两种制造弱副本的手段，一是低比特量化，二是幅度剪枝，两者都不改变原模型的结构与训练数据。

两类基准上的涨幅

实验覆盖多种架构与规模，评测集中在数学和代码推理任务。按平均值统计，量化方案比原模型高出 4.0 个百分点，剪枝方案高出 5.5 个百分点，论文称这一结果在无特权信息条件下达到当前最好水平。具体到单个模型：剪枝把 Qwen3.5-4B 在 HMMT 2025 上的准确率由 57.7% 提升到 70.5%，在 LiveCodeBench v6 上由 39.1% 提升到 56.7%；量化把 Qwen3.6-35B-A3B 在同样两个基准上分别由 68.5% 提升到 74.6%、由 61.8% 提升到 69.5%。

可用性与后续

论文将 WISD 定位为面向大型推理模型的自蒸馏框架，作者在文中说明工作仍在进行中，并已公开代码链接，便于复现量化与剪枝两条弱化路径。对需要在不引入外部教师、不依赖标注数据的条件下继续提升推理能力的团队而言，这套方法提供了一条可直接套用的训练流程；两种弱化手段的取舍可参考上述分项涨幅。

为什么值得看

只用无标注 prompt 就能自蒸馏提升推理，量化与剪枝两种弱化方式都给出可复现的涨幅数据。

Qwen蒸馏量化论文

信源1 家

  1. [1]arXiv cs.AI一手信源Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models

关键事实

  • WISD 通过构造原模型的弱化版本，并利用原模型与弱化版本之间的对比作为训练信号，不需要特权信息[1]

  • 弱化模型有两种构造方式：低比特量化和幅度剪枝[1]

  • 在数学与代码推理基准上，量化与剪枝分别带来 4.0 和 5.5 个百分点的平均准确率提升[1]

  • 剪枝使 Qwen3.5-4B 在 HMMT 2025 上从 57.7% 升至 70.5%，在 LiveCodeBench v6 上从 39.1% 升至 56.7%[1]

  • 量化使 Qwen3.6-35B-A3B 在 HMMT 2025 上从 68.5% 升至 74.6%，在 LiveCodeBench v6 上从 61.8% 升至 69.5%[1]

相关 · 论文

OpenAI 推出 LifeVal 基准，衡量 AI 完成日常事务的能力

11月2日 周一·AI 72

清华姚期智团队提出代数世界模型AWM，ARC-AGI-3全关卡通关

11月1日 周日·AI 78

新芯航途发布X7 Ultra芯片，700TOPS，用Momenta世界模型做评测

10月31日 周六·AI 72

LSA 稀疏注意力方法：百万级上下文下提速最高 72.4 倍

10月31日 周六·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论