PerSo 基准发布：用真实劝服对话评测 LLM 社交智能
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载PerSo 想测什么
论文关注的是大语言模型的社交智能，作者把它拆成两个层面。认知智能指推断他人心理状态的能力，行为智能指在这些推断基础上挑选合适社交行动、以达成社交目标的能力。作者认为劝服场景天然同时用到这两面，因此适合作为测试场。但既有基准通常把两者分开评测，并且使用合成场景，与真实互动存在距离。PerSo 的定位就是补上这一缺口，在同一个基准里同时考察这两面，并改用真实发生的对话作为素材。
任务怎么构建
PerSo 的数据来自 Reddit 的 ChangeMyView 社区，这是一个用户发帖陈述观点、他人尝试改变其看法的真实劝服场景。作者用 LLM-in-the-loop 的流程来构建评测任务，也就是让模型参与任务生成环节，再通过人工标注对结果做验证，以保证任务可用。论文共 25 页，含 17 张图和 10 张表，作者为 Ali Zamani、Soroush Esfahanian、Erfan Shahabi、Mohammad Taher Pilehvar、Azadeh Shakery、Yadollah Yaghoobzadeh，其中前两位作者贡献相同。
评测结果说明了什么
作者对多个大语言模型做了评测，结果显示整体表现大体随模型规模增长而提升，但不同维度上的表现并不一致。在行为任务上，表现最强的模型略微超过了观察到的最佳人类表现；而在认知任务上，最佳人类参与者仍然领先于模型。这一对比提示，模型在「选对社交行动」这类行为层面已具备相当水平，但在「读懂对方心理状态」这类认知层面与人类最好水平仍有差距。论文编号为 arXiv:2610.20548，提交于 2026 年 10 月 14 日，归类于 cs.CL、cs.AI 与 cs.SI。
为什么值得看
把社交智能拆成认知与行为两面，并在真实劝服对话上评测，还给出人机对比结果，适合关注 LLM 社交能力评测的人。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。