arXiv 论文质疑 VLM 视觉 token 剪枝的评测方式
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载两项被质疑的评测口径
论文针对视觉 token 剪枝的评测方式提出两点批评。第一，聚合任务准确率被当作剪枝质量的替代指标，但它无法说明方法是否真的挑出了关键视觉 token：不少样本即便随机删掉 token 依然能答对，而当视觉证据被削弱时，模型还可以转而依赖文本线索作答，于是准确率数字看起来正常，剪枝本身是否有效却被掩盖。第二，保留 token 数量被当作实际效率的替代指标，但同样的 token 预算，由于剪枝发生在什么位置、以何种方式执行，端到端成本并不相同。作者由此认为，基于聚合准确率与保留 token 数的比较，无法还原各方法在性能与效率上的全局帕累托前沿。
提出的评测工具
为补上这两处缺口，作者给出一个可直接套用在现有基准上的评测框架 PAA-Bench，用来判断剪枝是否通过有意义的 token 选择取得成功，以及这种成功能否转化为真实的加速。针对「token 选择何时才真正起作用」，论文提出 Random-Pass@k，统计样本在随机剪枝下仍保持正确的频率，从而按选择难度分层观察方法表现。针对效率比较的公平性，论文提出 Preservation-Constrained Speedup（PCS），在统一的保真目标下报告每种方法能达到的最大端到端加速，使不同方法在同一约束下可比。
实验设置与观察
实验覆盖 8 种方法、3 个 VLM 主干与 9 个基准。作者报告的三点观察是：更强的 token 压缩并不必然带来更大的加速；在 token 选择真正起作用的样本上，方法之间的差距会拉大；效率排名会随保真目标的变化而改变。这些结果指向同一个结论——若只看聚合准确率与保留 token 数，方法之间的优劣判断可能失真，评测需要同时考察 token 选择的质量与端到端加速。
为什么值得看
做 VLM 推理加速与 token 剪枝评测的读者，可据此重新审视自己的对比口径。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。