PixelTriage插件实现检索后图像按需加载，视觉token消耗降至两成
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载像素何时才值得调用
多模态助手在回答问题时，会从长期记忆中检索出带图片的条目。检索完成后，每张被取回的图片有两种进入回答模型的途径：一种是以像素形式输入，另一种是以预先存好的文字代理形式输入。像素形式代价不低，单张图片大约要消耗上千个视觉 token；文字代理虽然省，却常常丢掉提问真正关心的细节。这项研究观察到一个现象：真正让像素发挥作用、带来收益的，往往只是检索结果里的一两张记忆，而不是全部。更关键的是，这种收益在回答模型开始运行之前就能被判断出来，判断过程完全不需要读取任何一张全分辨率图片。
检索之后的插件
作者提出的方案名为 PixelTriage，它是一个安放在检索环节之后的插件。插件里有一个本身不生成文本的小模型，它读取对话内容、一段简短说明，以及每条被检索记忆的缩略图，据此预测这条记忆的像素能带来多少额外价值。训练数据来自合成的记忆片段，这些片段的标签由一个被冻结的 27B 模型生成：该模型对每个问题分别在带某条记忆像素和不带该条记忆像素两种条件下作答，两者的差异构成了监督信号。由于判断只依赖缩略图而非原图，插件在回答模型启动前就完成了取舍。
与既有做法的差别
在 7B 回答模型下，PixelTriage 落在 M³Exam、DMV 与 MemEye 三个基准的准确率—成本前沿上，所用的视觉 token 只占完整输入的一小部分，而准确率没有明显下降。在 DMV 上，它的作答速度是打开全部图片方式的 2.9 倍。与按检索顺序取用、或对所有图片统一降采样这两种同样受预算约束的策略相比，它的表现更好。此外，该方案可以迁移到其他记忆系统，也能配合 397B 规模的回答模型使用。
对使用者的意义
这套机制针对的是检索结果中图片数量多、但真正需要看原图的条目很少的场景。它把“要不要给像素”变成一个可以提前预测的决策，从而在保留关键视觉细节的同时压缩视觉 token 开销。需要注意的是，其判断依据是缩略图与对话上下文，收益预测由冻结模型标注的合成数据训练而来；材料未说明它在何种记忆规模或何种图片类型下会失效，也未给出除上述基准之外的适用范围。
为什么值得看
大幅削减多模态长时记忆问答的视觉计算开销与推理延迟，且不损精度，对成本敏感的大模型部署极具实用价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。