注册

arXiv 论文提出诊断大模型对手建模能力的基准框架

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇提交至 arXiv 的论文提出针对重复捉迷藏博弈的基准与诊断框架，对手为具有明确递归信念更新的算法体，其真实信念与动作概率可被获取。作者用实时交互、固定历史评估和受控信息干预区分自适应博弈、动作预测与信念追踪。在结构化引导与行为监督微调下，多个测试场景的博弈表现提升，但诊断显示对手预测与信念追踪仍存在不足。对 Qwen2.5-7B-Instruct 的测试中，告知对手类型与参数后预测改善，需从历史推断对手时准确率下降；GPT-5.4 获得正确对手信念时预测与选择改善，但更深的显式信念报告与自生成记忆未稳定提升预测。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

基准与诊断设计

论文关注语言模型智能体在交互中适应对手行为的能力，并指出这种适应可能依赖已学到的行为模式，而非真正的心智理论。作者构建了一个重复捉迷藏博弈的基准与诊断框架，对手是算法体，其递归信念更新规则被明确定义，因此对手的真实信念与动作概率可以被直接获取。借助这一设定，研究把自适应博弈、动作预测和信念追踪三种能力分开考察，手段包括实时交互、固定历史评估以及受控的信息干预。这种设计的意义在于，仅凭博弈胜负无法判断模型是否真的在推断对手的心理状态，而可获取的真实信念提供了对照标准。

小模型上的预测短板

在结构化引导与行为监督微调下，多个测试场景中的博弈表现有所提升，但诊断结果暴露出对手预测与信念追踪方面的局限。作者进一步测试监督对手动作概率能否弥补预测缺陷，实验对象为 Qwen2.5-7B-Instruct。结果显示，当模型被告知对手的类型与参数设置时，预测会改善；而当它必须仅凭历史自行推断对手时，准确率下降。若训练样本同样省略这些细节，差距会缩小，但改善程度因对手不同而存在差异。这说明模型更擅长使用被直接给出的对手信息，而非自主推断。

前沿模型上的对照

论文接着追问这一局限是否只存在于较小的开放权重模型。对 GPT-5.4 的测试显示，它同样受益于正确的对手信念：提供这些信念会改善其预测与选择。但更深的显式信念报告与自生成记忆，并未在从交互历史进行预测时带来稳定提升。作者由此提出，利用有用的信念信息比自主推断信念更容易，即便对前沿模型也是如此。整体上，研究把博弈表现的提升与动作预测的改善，同可靠的信念追踪区分开来，并给出一个可用于评估心智化能力、检验针对性改进的框架。

为什么值得看

用可获取真实信念的博弈环境，把「会玩」与「真懂对手」区分开，为评估大模型心智理论提供可复现的诊断方法。

GPTQwen大模型微调论文

信源1 家

  1. [1]arXiv cs.AI一手信源Beyond Successful Play: Diagnosing Opponent Modeling in Large Language Models

关键事实

  • 论文提出针对重复捉迷藏博弈的基准与诊断框架，对手为具有明确递归信念更新的算法体[1]

  • 框架通过实时交互、固定历史评估和受控信息干预区分自适应博弈、动作预测与信念追踪[1]

  • 在 Qwen2.5-7B-Instruct 上，告知对手类型与参数设置时预测改善，需从历史推断对手时准确率下降[1]

  • GPT-5.4 获得正确对手信念时预测与选择改善，但更深的显式信念报告与自生成记忆未稳定提升预测[1]

相关 · 论文

DreamX 将预训练视频扩散模型改造为通用潜在动作学习器

11月4日 周三·AI 78

arXiv 论文提出「认知共生体」概念，主张 AI 增强人的智能

11月4日 周三·AI 58

独立复现 DNO-Prct：Llama 3.1 8B 对 GPT-4o 胜率升…

11月4日 周三·AI 72

研究提出 PEARL 方法，用于持久抑制语言模型的不对齐行为

11月4日 周三·AI 78

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论