研究证明Transformer具备世界模型并揭示其导航失效机制
论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
Pierre Beckmann等人发表论文，证明Transformer的行为失败不代表其缺乏世界模型。研究构建了在曼哈顿随机游走上训练的TaxiGPT，通过机制分析与因果干预证实该模型能表征路口与街道、追踪位置并利用目标罗盘导航。其导航失败源于叠加的路口特征间产生干扰，破坏了内部地图定位，而“可供性打包”机制可限制此类错误影响。研究还提出机制指标以对比模型，发现世界建模能力在训练不同阶段涌现，主张应从机制层面研究模型如何表征环境并指导行为，而非仅争论模型是否拥有世界模型。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载TaxiGPT的内部地图实证
针对Transformer因行为失败被认为缺乏内部世界模型的观点，Pierre Beckmann、Matthieu Queloz与Andre Freitas构建了TaxiGPT进行反驳。该模型基于曼哈顿的随机游走轨迹进行训练。研究团队采用机制分析与因果干预手段，证实该架构确实习得了对环境的忠实表征：它能够明确表示路口与街道结构，持续追踪自身所处位置，并依赖目标罗盘完成导航任务。这表明表面的行为缺陷并不能等同于内部缺乏对环境的映射。
特征叠加干扰与纠错
研究进一步追溯了TaxiGPT产生导航失误的根源。分析指出，失败并非因为模型未建立地图，而是由于叠加的路口特征之间发生了相互干扰，这种干扰破坏了模型在内部地图中的精准定位。为应对此问题，研究引入了“可供性打包”机制，即将具有相同合法移动方向的路口表征归组，该做法有效限制了特征干扰带来的错误后果，提升了模型在复杂环境中的鲁棒性。
世界建模能力的机制评估
为量化评估模型的世界建模水平，研究者提出了一套机制指标。借助这些指标对比不同模型后发现，世界建模的相关能力并非一蹴而就，而是在训练过程中的不同阶段逐步涌现。基于上述发现，论文主张该领域的研究焦点应当发生转移：从仅仅争论模型是否拥有世界模型，转向深入剖析其世界建模的机制——即探究模型通过哪些交互能力来表征环境，并利用这些表征来指导具体行为。
为什么值得看
为Transformer具备内部世界模型提供机制解释与实证，揭示特征叠加干扰是行为失败根源，改变模型认知研究范式。
GPT论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。