研究揭示冗长提示词提升视觉语言模型鲁棒性原理
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载提问措辞影响鲁棒性
视觉语言模型在图像受到损坏时表现不稳，而提问的措辞会从两个相反方向改变这种稳定性。把简短问句改写为更啰嗦的说法，例如在原本的提问前加上请仔细查看再作答之类的引导语，模型对损坏图像的抵抗力会明显提升。反过来，当问题涉及更细的语义粒度，例如从判断某物体是否存在，转为追问某个物体的颜色或它相对于另一物体的位置，模型在图像损坏下反而更容易出错。研究把这两种方向相反的现象归到同一个机制上：由问题内容所调制的跨模态注意力，会在图像块上形成一种类似频谱滤波的作用。
注意力被看作频谱滤波器
按这套解释，跨模态注意力对图像各块施加的权重分布可以视为一个滤波器，它决定了模型在哪些空间频率上取用信息。啰嗦的问句会让这个滤波器的频率支撑范围变宽，模型因而同时利用多个视觉尺度上的线索；细粒度问句则把支撑范围收窄，信息集中到少数几个视觉尺度上。当滤波器的响应区间与图像损坏所在的频段重合时，模型的答案偏移最严重。这一视角把提示词长度与图像损坏频段联系起来，解释了同一模型在不同问法下稳健程度差异的来源。
两个模型与两个数据集验证
研究在 Qwen3-VL 与 LLaVA-OneVision 两个视觉语言模型上检验了上述滤波器观点，评测数据来自 GQA 与 CLEVR。在 8B 规模的模型上，采用啰嗦改写后的提问方式，答案漂移的方差下降了 70–81%。这一幅度对应的是模型在图像受损坏时输出波动的收敛程度，而非单纯的准确率变化。两个模型与两个数据集构成交叉验证，使该结论不局限于单一架构或单一题型。
加长提示词的实用做法
由该机制直接得出的操作方式是把提示词写长，即在原问题前后补充引导性表述。材料显示，这种填充提示词的做法不仅降低漂移，还在准确率上带来可测量的提升，且在图像存在损坏的条件下依然成立。其适用范围限于材料所考察的模型与数据集组合；对于语义更复杂或更细粒度的问题，加长措辞能否抵消细粒度带来的脆弱性，材料未给出结论。对使用这类模型的人而言，这意味着在图像质量不可控的场景里，改写提问方式本身就可能是一项低成本手段。
为什么值得看
揭示了提示词工程背后的频谱滤波机制，提供了提升模型抗干扰能力的实用方法。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。