新框架 Fuse 评估 LLM 社会推理能力
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载用模拟构造可验证答案
这篇论文关注的是大模型助手在日常社交建议场景中的推理能力评测难题。作者指出，这类咨询有两个麻烦：助手需要从用户带有主观色彩的自述中还原社交情境，而他人的意图这类社交属性通常没有可核对的真实答案。为此，研究团队提出名为 Fuse 的多智能体模拟框架，用来研究经由用户转述的社交推理。在 Fuse 中，一个带有隐藏动机的目标智能体与其他智能体互动，其中一个智能体代表用户；随后由用户向被评测的助手咨询，请其推断目标智能体的动机。由于隐藏动机在模拟设定时就已确定，正确答案天然存在，评测因此获得可验证的对照标准。为确认模拟本身是否贴近真实情境，作者还开展了一项人工研究，收集了 24k 条标注用于验证模拟的忠实度。
十二个模型的横向测试
在框架搭建完成后，作者把 Fuse 用于 12 个大模型，并通过系统性地隔离关键因素来展示这套框架的分析用途。结果显示，用户的转述环节会叠加社交推理本身的难度，使任务比直接观察情境更难。模型对带有偏向性的用户表述表现出系统性敏感，用户怎么描述会影响模型的判断走向。此外，模型有时需要比人类更多的细节才能得出正确预测，也就是说它所需的上下文量高于人。还有一个发现是，对话轮次变长并不必然带来性能提升，即便更长的交流提供了追问澄清的机会。这些结论分别对应框架中可单独控制的设计变量，说明该模拟不仅能打分，还能定位失败来源。
开源数据与使用边界
作者将 Fuse 框架以及一个包含 21k 条样本的数据集开源，供后续研究复用。论文标注的学科领域为人工智能与计算语言，提交时间为 2026 年 9 月 15 日，第一作者与第二作者贡献相同，署名顺序为随机确定。对关注助手评测的读者而言，这项工作提供的思路是把难以核对的社会推理问题转化为模拟中可构造正确答案的任务，从而绕开真实社交场景缺乏标准答案的障碍。其适用范围限于模拟环境下的用户中介咨询，评测结论反映的是模型在该设定中的表现；模拟是否忠实于现实，依赖人工标注的验证结果。
为什么值得看
提供了评估 LLM 社交推理能力的新基准与开源数据集。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。