注册

VIP-Router实现视觉Token剪枝自适应路由

论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

针对多模态大语言模型推理成本高的问题，研究团队提出VIP-Router。该组件能根据输入样本自适应选择最优视觉Token剪枝策略，在VTC-Bench Group A测试中，平均准确率相对提升26.9%，平均效用提升22.0%。该方案即插即用，无需修改底层模型权重，新增参数量仅为主干模型的0.017%。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

固定剪枝策略的盲区

多模态大模型处理单张图像时，往往要面对成百上千个视觉 token，推理开销因此居高不下。已有的视觉 token 剪枝方法虽然缓解了这部分负担，但它们都默认同一套固定策略可以不加区分地套用到所有输入上。论文的分析指出，如果只按基准平均准确率给剪枝方法排序，会掩盖样本层面上的互补性：平均表现最好的策略在整体上占优，可在相当一部分单个样本上，其他策略反而更合适。这一发现构成了后续工作的出发点，即把策略选择从全局固定改为逐样本决定。

按样本挑选剪枝策略

作者提出 VIP-Router，一个轻量的视觉剪枝路由器，在给定剪枝水平下为每个输入预测最匹配的剪枝策略。它的判断依据是成本较低的视觉特征与文本特征，候选范围是若干已有策略；当预测结果显示剪枝不利时，它还保留全 token 推理这一选项，而不是强行剪枝。这种设计不触碰底层剪枝算法，也不改动模型权重，属于即插即用的外挂式组件，新增的可训练参数相对主干网络极小。

评测中的收益与边界

在专门挑选的对剪枝敏感的视觉感知基准 VTC-Bench Group A 上，VIP-Router 在所有压缩比例下都优于最好的固定策略基线，平均准确率取得 26.9% 的相对提升；把实际发生的 token 成本计入后，平均效用相对提高 22.0%。论文还报告该方法在多种多模态主干上均有效，并在未见过的基准上保持稳定增益。需要留意的是，这些结论建立在作者自建的剪枝敏感基准套件之上，材料未给出其他通用基准上的表现，也未说明路由判断本身带来的额外开销规模。

对使用者的实际含义

对需要在推理阶段压缩视觉 token 的团队来说，这项工作提示了一个容易被忽略的事实：不存在对所有样本都最优的单一剪枝策略，按平均值选型可能让部分输入吃亏。VIP-Router 的价值在于把选型这一步交给一个轻量模块，原有剪枝实现和模型权重都无需重写，接入成本较低。论文共 26 页、含 6 幅图，代码计划随后放出，届时可进一步核对其在不同主干与压缩比例下的具体配置方式。

为什么值得看

大幅降低MLLM推理成本且不损失精度，即插即用方案易于落地。

多模态

信源1 家

  1. [1]arXiv cs.AI一手信源Beyond One-Size-Fits-All: Sample-Adaptive Strategy Routing for Vision Token Pruning in MLLMs

关键事实

  • VIP-Router在VTC-Bench Group A测试中平均准确率相对提升26.9%，平均效用提升22.0%。[1]

  • 该组件新增可训练参数量仅相当于主干模型的0.017%。[1]

  • 方案以即插即用方式运行，无需修改底层剪枝算法或模型权重。[1]

相关 · 论文

360图龙锋以99.4%漏洞复现成功率登顶CyberGym榜单

11月6日 周五·AI 78

OpenAI 推出 BioBasicsBench，用 100 项任务评测 AI…

11月6日 周五·AI 72

SwarmEvolve：数百个低成本智能体在潜空间协作完成进化搜索

11月6日 周五·AI 78

论文提出 Scientist World：把每篇论文变成可执行研究环境

11月6日 周五·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论