DECE 统一竞技场发布：十款欧式桌游评测 LLM 智能体
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载十款桌游共用一套接口
这项研究把评测场景从单一游戏扩展到多款欧式桌游，构建了名为 DECE 的统一竞技场。该环境覆盖十款欧式桌游，并为它们设计了共享的交互接口与评测协议。这些游戏的共同点在于：玩家需要做出具有长期影响的策略承诺，围绕共享资源展开争夺，并且通往胜利的路径不止一条。研究者的出发点在于，此前针对语言模型智能体的评测往往局限在某一个游戏或某一种执行框架内，因此难以判断某种竞争优势是否能在不同环境中延续。DECE 试图用统一的接口和协议把多款游戏放进同一个比较框架，让不同配置的智能体在相同规则下接受观察。对关注智能体评测的读者来说，这意味着评测对象不再只是模型本身，而是模型与运行框架组合而成的完整配置。
千余场对局的配置比较
主研究考察了 12 种模型与执行框架的组合，涉及九款模型和四种执行框架，在十款游戏中进行了 480 场三人对局。主研究与补充研究合计完成 1,032 场对局。这些数字构成了比较不同配置表现的数据基础：三人对局意味着每场都有多个目标相互竞争的参与者，决策结果会受到其他参与者选择的影响。研究者据此观察不同配置在跨游戏场景下的排名情况。结果显示，各配置在多个游戏之间呈现出较广泛的排名一致性，同时也存在针对特定游戏的强项。换言之，一个配置的整体位次在不同游戏中大体稳定，但具体到某一款游戏时，优势可能来自该游戏的特殊结构。
框架差异与资源开销
匹配研究揭示了一个额外变量：同一个模型在不同执行框架下可能表现出不同水平，这为配置画像增加了又一层波动来源。也就是说，比较智能体时不能只看模型名称，还要看它被放进哪种执行框架中运行。另一项观察是，竞技表现上的优势并不会稳定地转化为更好的 token 用量或成本效率。某些配置在游戏中胜率更高，但为此消耗的资源也更多，二者并不总是同向变化。因此研究结论倾向于：评价一个完整的智能体配置，应当同时看它在多款游戏中的竞争表现，以及达成这一表现所需的资源开销。对实际使用这类评测的人来说，这意味着选型时需要把效果与成本放在一起权衡，而不是只盯住胜负结果。
为什么值得看
把模型与执行框架作为整体配置来比较，并同时看竞技表现与资源开销，为智能体评测提供了可复用的多游戏基准。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。