ACE-Compression 提出以能力为中心的压缩模型评测框架
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 ACE-Compression 评测框架，主张压缩模型的评估不应只看任务得分，还要看哪些核心能力被保留。框架从四个维度考察：程序性推理与约束执行、知识落地与真实性、社会认知与情感理解、人格保真与风格一致性。作者测试了六个开源权重模型、超过 35 个压缩检查点，覆盖量化与剪枝两类方法，发现压缩会重新分配能力分布：粗粒度、局部、表层信号往往保留，细粒度、长尾、依赖上下文的能力更易受损；量化在能力保留上整体优于剪枝，但差距的实际意义取决于应用需要哪项能力。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载评测思路的转变
现有做法通常只测压缩模型在任务上的得分是否保持，作者认为这不足以说明问题：压缩会扰动分布在数十亿权重中的知识，任务分数无法揭示哪些底层能力仍然存在、哪些已经失效。ACE-Compression 因此把提问方式从“压缩后还能不能答对”改为“哪些核心能力仍然完整”，并围绕四个面向部署的维度设计探测项，分别对应推理与约束执行、知识真实性与落地、社会认知与情感理解、人格与风格一致性。
实验规模与主要发现
作者在六个开源权重模型上测试了超过 35 个压缩检查点，方法覆盖量化与剪枝。结果显示压缩并非均匀削弱能力，而是重新分配能力分布：粗粒度、局部、表层的能力信号通常能够保留，细粒度、长尾以及依赖上下文的能力则更容易受损。在两类方法之间，量化在能力保留上的表现整体好于剪枝，但作者强调这一差距的实际意义取决于具体应用需要哪项能力，不能简单当作普遍结论。
对部署与算法设计的用途
基于上述结果，作者给出两条使用路径：部署方可以按应用所需的能力画像挑选压缩方法，而不只参考排行榜平均分；算法设计者则可以把各维度的能力变化当作诊断信号，用于改进压缩方法，使其保留真正关键的能力。论文把这一框架定位为将压缩从难以解释的精度下降，转变为可测量、可理解、可改进的干预过程。论文共 33 页、含 7 张图与附录，并公开了代码链接。
为什么值得看
给部署者一套按能力选压缩方法的依据，也给压缩算法设计者提供诊断信号，不再只看排行榜平均分。
量化模型评测论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。