CompressionBench 发布：评测编码智能体自主压缩 LLM 的能力
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇题为 CompressionBench 的论文把 LLM 压缩设定为终端任务：智能体拿到源检查点、存储上限、推理环境和时间预算后，自行设计算法、做实验，并产出压缩权重与可执行推理代码，困惑度反馈用于引导搜索，最终模型由独立验证检查。测试覆盖六个智能体、六种模型规模组合，36 份提交中 29 份通过验证；按任务挑选困惑度最低的智能体方案，平均困惑度比 BF16 高 3.4%，下游准确率 77.33%，BF16 为 79.56%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载任务如何设定
论文把压缩当作一个终端任务交给编码智能体：输入包括源检查点、存储预算、推理环境和时间预算，输出是压缩后的权重以及可直接运行的推理代码。智能体自行决定算法与实验路径，困惑度反馈用于引导搜索方向，最终结果由独立验证环节检查，而不是由智能体自己判定。这一设定把「能否自主完成模型压缩」变成可测量的问题，作者将其视为面向效率的自我改进中一个可量化的组成部分。
通过率与精度代价
评测覆盖六个智能体与六种模型规模组合，共 36 份提交，其中 29 份通过验证。若按任务挑选困惑度最低的智能体设计，平均困惑度相对 BF16 上升 3.4%，下游准确率为 77.33%，而 BF16 为 79.56%。这组数字给出了智能体自主压缩在精度上的实际代价，也说明不同智能体方案之间存在可比较的差异。
实验记录揭示的细节
论文记录了智能体的实验过程：在存储几乎不变的前提下，24 次修订中有 21 次降低了困惑度；引入完整模型反馈后，此前 79 项局部排名中有 17 项被反转，说明局部指标排序并不稳定。生成与推理测试还暴露出仅凭似然无法发现的问题。作者据此指出，表示设计、实验判断与能力验证是智能体驱动模型压缩的三个关键环节，也是当前改进容易失效的地方。
为什么值得看
想知道编码智能体能否自主完成模型压缩这类工程任务，这份基准给出了可量化的通过率与精度代价。
智能体论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。