VPRune提出免训练视觉Token剪枝框架，优化大模型推理
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载三个退化来源
VPRune 的出发点是对视觉 token 剪枝为何损伤性能的归因。作者把激进压缩下的性能下滑拆成三条线索：一是选择环节受文本引导而产生的偏向，二是被丢弃 token 所承载信息的流失，三是序列被压缩后位置关系发生的扭曲。这三条并非并列的工程细节，而是分别对应剪枝流程中的挑选、丢弃与重排三个动作，因此后续方法也按这三处逐一给出对策。论文以 FastVLM-1.5B 为实验对象，在多个视觉语言基准上观察准确率与压缩率之间的取舍关系。
三步框架的构成
对应上述三点，VPRune 由三个部件组成：仅依赖视觉信息的多样性选择、以相似度为引导的 token 回收，以及保持位置的还原操作。选择阶段不引入文本信号，从而避开文本引导带来的偏向；回收阶段把原本要丢弃的 token 以相似度为依据重新利用，减少信息流失；还原阶段则处理序列压缩造成的位置错位。整套流程不需要额外训练，且作用位置在送入大语言模型之前，属于前置剪枝。作者在摘要中将其概括为无需训练的 pre-LLM 剪枝框架。
压缩越激进优势越明显
实验在 FastVLM-1.5B 上跨多个视觉语言基准展开，结果显示 VPRune 在准确率与压缩程度之间取得了较好的平衡，并且在压缩力度较大时优势更为突出。这一现象与它的设计取向一致：文本引导偏向、丢弃信息损失与位置扭曲，恰恰是在大幅削减 token 时才会被放大，因此针对这三点的处理在激进压缩区间收益更明显。材料未给出具体的压缩比例与各基准的分数，可确认的只是趋势层面的结论。
边缘设备上的端到端时延
除基准测试外，作者还在边缘设备上做了评估，VPRune 在保持较好任务表现的同时降低了端到端推理时延，被作者视为面向资源受限场景部署视觉语言模型的一种可行路径。对关注推理成本的读者而言，这意味着剪枝的收益不只体现在 token 数量上，也体现在实际硬件的响应时间上；而由于方法不需要训练，接入时不必改动模型权重，只需在视觉编码与语言模型之间插入剪枝环节。材料未披露所用边缘设备的具体型号与加速幅度。
为什么值得看
免训练即可大幅压缩视觉Token并保持精度，对边缘设备部署大视觉语言模型极具实用价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。