arXiv 论文质疑 XLand-MiniGrid 记忆优势：多数来自时间步信息

10月25日周日 01:28论文AI 评分 62/100arXiv cs.AI待复核

AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

一篇 arXiv 论文重新审计了 XLand-MiniGrid 部分可观测任务中 LSTM 相对无记忆 MLP 的 25 个百分点优势。作者在 60 次运行中分离训练种子、地图与评估随机性，每项重评三次，发现约十个配对种子即可检出 10 个百分点的最终成功率差距；而常用的「任务已习得」二元判定有 76% 是评估噪声，同样差距需约一百个种子。在新地图密封测试面板上，与 LSTM 同规模的无记忆 MLP 在获得时间步输入后差距缩至 3.3 个百分点，且不提供时间步时增加宽度也无收益；四分之一规模的 MLP 与每步清空状态的 LSTM 也都在约 5 个百分点内。线性探针可从训练后 LSTM 状态中读出时间步。作者建议为无记忆基线提供时间步，并公开协议、事件驱动工具与全部检查点。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

被审计的记忆优势

论文针对一个部分可观测的 XLand-MiniGrid 任务：带 LSTM 的智能体在最终成功率上领先无记忆 MLP 25 个百分点，表面看是记忆机制带来的收益。作者没有直接接受这一结论，而是把它拆成两个问题：测得的差距里有多少只是随机波动，以及剩下的差距是否真由记忆造成。实验共运行 60 次，把训练种子、地图和评估三方面的随机性分开处理，每个配置重复评估三次，以此估计不同种子数量下的检出能力。

噪声与种子成本

在噪声层面，作者给出的结论是：约十个配对种子就足以检出 10 个百分点的最终成功率差距。相比之下，学习曲线常用的「任务已习得」二元判定噪声更大，其中约 76% 来自评估波动，要检出同样 10 个百分点的差距需要约一百个种子。这意味着用少量种子和二元判定下结论，容易把评估噪声误读为方法差异，也直接抬高了复现同类对比所需的算力与时间成本。

时间步替代记忆

在密封的新地图面板上只打开一次做检验：与 LSTM 同规模的无记忆 MLP 在拿到时间步输入后，与 LSTM 的差距缩小到 3.3 个百分点；不给时间步时，单纯加大 MLP 宽度没有可测收益。给时间步后，规模只有 LSTM 四分之一的 MLP，以及每一步都清空状态的 LSTM，也都落在约 5 个百分点以内。线性探针还能从训练后的 LSTM 状态里读出时间步，说明状态中编码了时间信息。

任务设定与开放材料

作者把这一现象归因于任务本身的结构：回合在固定步数上限被截断，奖励随时间收缩，因此知道当前时间步本身就带有价值。据此提出的实践建议是，在对比中给无记忆基线提供时间步输入，避免把「知道时间」误判为「拥有记忆」。论文共 17 页、7 幅图，作者公开了实验协议、事件驱动工具以及全部检查点与数据，便于他人复核种子、地图与评估噪声的分离方式。

为什么值得看

提醒强化学习对比实验需控制评估噪声，并给无记忆基线输入时间步，否则容易高估记忆机制的作用。

智能体论文

信源1 家

[1]arXiv cs.AI一手信源Memory or a Clock? Auditing a Memory Advantage in XLand-MiniGrid with Seeds, Maps and Evaluation Noise Apart

关键事实

在部分可观测的 XLand-MiniGrid 任务上，LSTM 智能体比无记忆 MLP 高出 25 个百分点。[1]
作者用 60 次运行分离训练种子、地图与评估随机性，每次重评三次，约十个配对种子可检出 10 个百分点差距。[1]
「任务已习得」二元判定中约 76% 为评估噪声，同样差距需约一百个种子。[1]
在新地图密封面板上，同规模无记忆 MLP 获得时间步后与 LSTM 差距缩至 3.3 个百分点。[1]
线性探针可从训练后 LSTM 的状态中读出时间步，作者公开协议、工具与全部检查点。[1]

arXiv 论文质疑 XLand-MiniGrid 记忆优势：多数来自时间步信息

全文梳理

被审计的记忆优势

噪声与种子成本

时间步替代记忆

任务设定与开放材料

为什么值得看

信源1 家

关键事实

相关 · 论文

北大孙仲联合IBM等发布综述，重新定义现代模拟计算

OpenAI 自 GPT-5.6 起部署激活分类器监控模型输出

OpenAI 推出 LifeVal 基准，衡量 AI 完成日常事务的能力

ALPS：分层规划让LLM模拟学生保持长期行为一致