Trace Evolution Bench 提出区分重打分与真实更新的智能体自…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载评测协议要解决什么
自进化智能体通常用端点增益打分，即更新后的留出成功率减去更新前。论文指出，这个差值可能把一次冻结重打分也算作进化。Trace Evolution Bench 的做法是把重打分与上下文或权重更新分开，并配套三个冻结的 80/20/40 数据包。接受一次更新有三个条件：验证集表现不下降、留出标识符不进入更新过程、文本更新不与权重更新放在同一排名里比较。方法在读取留出集之前就已固定在验证筛选上，以避免事后挑选。主榜是编码任务，评分依据封闭工作区中的隐藏单元测试。
波动带与种子差异
在编码包上，40 个留出任务来自单一模型家族。DeepSeek v4 Pro 在 no_evolve 条件下策略始终不变，但跨三个随机种子仍分别移动 7.5、5.0 和 12.5 个百分点，说明仅凭端点差值容易把这种波动误读为进化。九个文本更新单元受 GEPA、ACE 和 ExpeL 启发，其中七个超出该种子自身的波动带；一个 gepa_llm 种子下降 12.5 个百分点，回归值为 0.48。GLM 与 MiniMax 没有复现七比九的模式。没有任何方法在三个模型的每个种子上都高于自身波动带：GLM 有两个配对单元高于自身波动带，MiniMax 的 expel_llm 种子 44 是第三个，回归值 0.30。
其他数据包的结果
除编码主榜外，办公包按规则限定的交付评分，制造表格问答是另一个独立数据包。办公包上 DeepSeek 未超出自身波动带，最宽为 17.5 个百分点；制造包没有出现超出种子波动带的配对正增益。这些结果与编码包形成对照，说明同一套更新方法在不同任务类型上的表现并不一致。论文由 Fangfei Li、Chenyang Zhao、Long Wang、Feng Tian、Lv Guo 撰写，编号 arXiv:2610.15055，提交于 2026 年 10 月 10 日，属 cs.AI 分类。
为什么值得看
它给出可复现的评测协议与波动带，提醒自进化智能体的提升可能只是重打分噪声。
信源1 家
关键事实
论文提出 Trace Evolution Bench 协议，将冻结重打分与上下文或权重更新区分开，并附带三个冻结的 80/20/40 数据包。[1]
主榜为编码任务，由封闭工作区中的隐藏单元测试评分，含 40 个留出任务、单一模型家族。[1]
DeepSeek v4 Pro 在 no_evolve 下策略不变，却在三个随机种子上分别移动 7.5、5.0、12.5 个百分点。[1]
九个受 GEPA、ACE、ExpeL 启发的文本更新单元中七个超出该种子自身波动带，一个 gepa_llm 种子下降 12.5 个百分点。[1]
GLM 与 MiniMax 未复现七比九的模式，办公与制造表格问答为独立数据包，均未超出各自种子波动带。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。