arXiv 论文提出 Environment Duels 基准，评测 LLM …
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准怎么设计
Environment Duels 把评测放进交互环境，要求参与模型扮演两种角色。作为出题者，模型需要写出一个环境，并为它配一条只有出题方掌握的特权提示；合格的标准是：能力足够的解题者在拿不到提示时无法完成，拿到提示后则能通过。作为解题者，模型要在这些环境中实际交互并完成任务。这样，同一套流程既测「能不能做题」，也测「能不能设计出有区分度的题」，把过去分开评测的两件事放进同一个对局框架。
九个模型上的发现
作者在九个前沿 LLM 上运行该基准，结果显示解题与出题是彼此独立的技能：排名靠前的解题者并不自动成为好的出题者。一个反直觉的现象是，规模较小的模型从观察他人如何对局中获益更多，并且写出的环境难度最高、附带提示的信息量也最大。这说明模型在生态中的位置不只由单点能力决定，学习他人产出的方式同样影响表现。
对局数据的结构
除分数之外，两两对局本身构成观察模型相互影响的样本。论文报告，正面对决的结果具有传递性，因此可以据此得到稳定排名；不同的独立出题者会收敛到相同的环境设计。作者把这些模式与模型在真实生态中彼此塑造的方式相对应，认为在受控条件下复现这些互动，可以观察模型如何互相教学、互相挑战、互相学习。
强化学习中的迁移信号
论文还用 Qwen3.8-27B 做了强化学习实验：学习者在某个作者所写环境上的提示增益，与它在该环境上训练后、在留出推理与 agentic 基准上的提升幅度相关，无论这些环境由自己还是其他模型写出。这一结果把「提示带来的增益」与「训练后的实际迁移效果」联系起来，为判断一批合成环境是否值得用于训练提供了可测量的线索。代码已随论文公开。
为什么值得看
把「模型互相出题、互相解题」放进可控对局，给出可复现的评测与排名方法，对做 agent 训练与合成数据的人有直接参考价…
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。