论文提出 CivHarness 回放框架，为 Freeciv 长程智能体提供密…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载计分板陷阱是什么
论文指出，训练语言模型智能体玩长程策略游戏的主要障碍在于反馈：确定性信号稀疏，往往只在整局结束时出现。游戏内计分板能提供密集信号，但它并不稳定地预示未来走向。作者在八款策略游戏上做了统计，在 8% 到 68% 的位置对中，当前分数更高的局面最终结果反而更差，并把这类情况命名为计分板陷阱。这意味着直接把分数当作奖励，可能把智能体引向短期占优、长期吃亏的决策。研究选择 Freeciv 作为实验环境，这是一款开源回合制帝国建设游戏，多名玩家在数百回合中管理单位、城市与外交。
回放框架与裁判模型
为获得更可靠的反馈，作者搭建了开源系统 CivHarness：它保存当前游戏状态，在不同决策处分叉，并把局面回放到之后的回合，从而对某个存档位置给出可度量的长程结果。借助这一机制，作者训练出 CivTelescope，一个判断两个局面中哪一个会带来更好结果的 LLM 裁判。在专门构造的计分板陷阱样本上，它的准确率是现成语言模型的 1.3 到 2.0 倍，并且能迁移到新的开局、更靠后的回合以及训练中未见的规则设定。论文同时公开了代码与检查点链接。
奖励配方与实测增益
把 CivTelescope 当作密集奖励来训练 Freeciv 智能体，这套配方被命名为 CivMarshmallow。在计分板陷阱频发的游戏中期，它的平均训练阶段增益为 8.94 分，比表现最好的基线——终局奖励——高出 77%。在完整的 120 回合对局中，作者采用混合奖励：开局阶段沿用计分板或终局奖励，随着游戏推进逐步切换到 CivTelescope；在所比较的各类奖励中，这一混合方案得分最高。论文共 22 页，含 3 张图与 12 张表。
为什么值得看
用回放验证替代计分板当奖励，给出了长程智能体稀疏反馈问题的一种可复用做法，并附开源代码与检查点。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。