研究揭示视觉语言模型有害梗图检测存在读取瓶颈

9月17日周四 00:00论文AI 评分 65/100arXiv cs.AI待复核

AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

研究针对 Gemma-3 和 Qwen3.5 在有害梗图检测中的错误进行了分析，发现失败往往源于内部证据无法正确路由至输出，而非证据缺失。通过稀疏自编码器等工具在六个基准测试中验证，稀疏读取显著优于原生预测，Qwen 平均宏 F1 从 0.432 提升至 0.740，Gemma 从 0.532 提升至 0.714。仅校准路由即可恢复 93.3% 的性能差距，证明路由机制是分类瓶颈。

为什么值得看

揭示多模态模型内部特征路由缺陷，提供显著提升安全检测性能的技术路径。

Qwen基准测试数据集

信源1 家

[1]arXiv cs.AI一手信源Decodable but Misrouted: Sparse Features Uncover a Readout Gap in Vision-Language Models for Harmful Meme Detection

关键事实

Qwen 在六个基准测试中平均宏 F1 从 0.432 提升至 0.740，Gemma 从 0.532 提升至 0.714。[1]
仅校准路由即可恢复 93.3% 的平均性能差距。[1]
研究使用稀疏自编码器、角色条件探针和因果干预等方法区分模型错误原因。[1]
Gemma-3-12B 在 Facebook Hateful Memes 数据集上通过分布式图像-提示交互达到 0.756 宏 F1。[1]

研究揭示视觉语言模型有害梗图检测存在读取瓶颈

为什么值得看

信源1 家

关键事实

相关 · 论文

研究解构分词器设计要素

论文提出零阶对齐方法 ComPO

研究利用生成音视频实现零样本力感知操控

研究为双过程语言智能体引入记忆与反思模块