PIP-ToM 提出证据可采性接口，提升多模态心智理论推理
论文AI 评分 62/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
论文把多模态心智理论（ToM）中的错误归因于「证据可采性」问题：推断他人信念时应只用该主体能获取的证据，而现有基于大模型或贝叶斯模型的方法重建全局事件轨迹，未区分客观事件与主体可采证据，导致视角泄漏与来源混淆。作者提出 PIP-ToM，为每个主体构建证据库、与结构化心理状态声明对齐，并在保留贝叶斯推断过程的前提下校准假设分数。搭配 GPT-4o 时，在 MuMA-ToM、MMToM-QA、Hi-ToM 三个基准上平均准确率分别为 92.56%、95.00%、95.00%，优于现有 ToM 方法。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载问题出在证据边界
论文指出，多模态心智理论要求从「该主体能看到的证据」出发推断其信念、目标与意图，但求解者往往掌握完整情节。现有基于大模型与基于贝叶斯模型的做法都倾向于重建全局事件轨迹，在评估假设时没有把客观发生的事件与主体可采信的证据分开。结果是主体无法获取的事件，或语义上对不齐的动作与话语，也会影响推断出的信念、目标或社交意图，形成视角泄漏以及来源与路径混淆。作者把这一限制形式化为证据可采性问题，并给出三条判据：证据须对相关主体可获取、须保留其信息来源、须对所查询的心理状态变量具有诊断性。
PIP-ToM 的做法
为落实上述判据，作者提出 PIP-ToM，将其定位为证据可采性接口。它先为每个主体分别构建证据库，再把证据与结构化的心理状态声明对齐，最后在保留原有贝叶斯推断流程不变的情况下，对基于模型的假设分数进行校准。这样，不可获取或来源不清的内容不会进入对某一主体心理状态的打分，而底层推断机制仍可沿用。
三个基准上的成绩
实验在 MuMA-ToM、MMToM-QA 与 Hi-ToM 三个多模态心智理论基准上展开，PIP-ToM 搭配 GPT-4o 的平均准确率分别为 92.56%、95.00% 与 95.00%，论文称其优于现有 ToM 方法。材料未给出各对比方法的逐项数值，也未说明除 GPT-4o 之外还测试了哪些模型。
为什么值得看
多模态心智理论推理的评测常被视角泄漏污染，这篇给出可操作的证据可采性约束与三个基准上的具体成绩。
GPT大模型多模态对齐论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。