研究提出用行为衍生语义维度对齐多模态大模型与人类认知
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出框架，将多模态大模型与人类相似性判断背后的多维心理表征对齐。研究基于一个由 470 万次人类 Odd-One-Out 判断构建的行为衍生语义嵌入空间，物体沿 66 个可解释维度表示。对每个三元组，方法推断最显著的决策维度，并转化为以该维度为依据的语言理由，使模型同时学习最终选择与符合推断行为标准的解释。实验显示，该方法提升了模型与人类相似性判断的一致性，同时在标准多模态基准上保持有竞争力的表现；在独立 fMRI 自然场景数据集上做 searchlight 表征相似性分析，观察到模型与人类表征对齐增强。代码已公开。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法的核心思路
论文关注的问题是：多模态大模型的内部表征与决策标准是否与人类认知的潜在结构一致。作者没有直接让模型拟合人类的选择结果，而是借助一个此前建立的行为衍生语义嵌入空间作为中介。该空间由 470 万次人类 Odd-One-Out 判断推导而来，物体在其中沿 66 个可解释维度分布。对每一个三元组，方法先推断出最显著的决策维度，再把这个维度转写成一段有依据的语言理由。模型因此不只学到选哪个，还学到与该行为标准相符的解释，使对齐发生在维度层面而非仅停留在答案层面。
实验与评估结果
评估分两部分。行为层面，方法提升了模型判断与人类相似性判断之间的一致性，同时在标准多模态基准上仍保持有竞争力的表现，说明对齐人类认知结构并未以牺牲通用能力为代价。神经层面，作者在独立的 fMRI 自然场景数据集上使用 searchlight 表征相似性分析，比较模型表征与人类脑表征的对应程度，观察到对齐程度上升。这一结果把行为层面的一致性延伸到了神经表征层面，为「模型更像人」提供了另一类证据。
意义与可用资源
作者将这条路线概括为数据驱动的对齐途径：人类认知结构不是靠人工规则注入，而是从大规模行为判断中提取维度，再以理由形式传给模型。论文代码已公开，便于复现与在此基础上扩展。需要注意的是，材料未给出具体基准名称、提升幅度数值与模型规模，实际效果强弱需查阅原文的实验部分。
为什么值得看
把人类相似性判断转成可解释维度与理由来对齐多模态模型，并给出 fMRI 层面的对齐证据，对做认知对齐与可解释性的人有参…
大模型多模态对齐论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。