TeamGym 发布：评估语言模型智能体团队决策的新环境
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载环境与关键信息方法
TeamGym 面向的是现实中常见的团队决策场景：正确结论依赖分散在多名参与者手中的信息，而当前语言模型智能体多在孤立条件下训练和评测。该环境从法律、金融、医疗、软件工程等真实语料构建决策任务，并提出识别「关键信息」的流程——找出一组最小事实集合，集合中每一条都不可缺少，而全部具备时足以得出正确决策。有了这一定义，环境既能人为控制关键信息如何分配到各参与者，也能追踪智能体在协作中是否找到并整合了这些信息，把「沟通是否有效」变成可测量的量。
两个可量化的差距
在 8 个语言模型、12 个源语料的评测中，作者记录了两类损失。其一是沟通差距：把同样的关键信息拆给多名参与者，成功率相对全部交给单个模型平均下降 22.9 个百分点，说明现有智能体不擅长把各自掌握的信息有效汇合。其二是检索差距：当参与者不能直接拿到关键信息、而要从原始材料中自行识别和抽取时，团队成功率再降 19.9 个百分点。两个数字分别对应「说清楚」和「找出来」两个环节，为后续改进指明了具体位置。
用强化学习补短板
针对上述缺陷，作者用 TeamGym 以团队决策损失为奖励做强化学习训练。两组策略训练实验显示，训练后最终决策质量提升；更值得注意的是，尽管奖励只评估最终决策、并不直接奖励协作行为，智能体仍自发出现了协调现象，体现在谁参与、谁发言以及沟通内容上。这说明把团队结果作为唯一优化目标，也可能诱导出分工与信息交换行为，为多智能体训练提供了一条不依赖人工设计协作奖励的路径。
为什么值得看
量化了多智能体协作中的信息共享与检索损失，并给出可训练的环境与指标，对做多智能体系统的团队有直接参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。