Dwell 框架让视觉语言智能体在潜空间中学习
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 Dwell，一种基于模型的强化学习框架，把预训练视觉语言模型（VLM）重新表述为循环潜空间转移算子，使其能在潜空间中预测、调整并行动。该框架利用 VLM 自身的表征，让模型同时充当世界模型与策略：智能体既从真实交互中学习预判和评估动作结果，也从潜空间想象中改进行为。在五个交互式视觉环境中，Dwell 在可训练方法里取得最强整体表现，同时大幅降低想象所需的算力。作者指出，VLM 智能体的有效世界模型不必重建未来，只需预测对动作有用的未来。代码已公开。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载框架要解决的问题
论文指出，从经验中学习是构建下一代可持续扩展能力智能体的关键。预训练视觉语言模型已经内化了丰富的世界知识，但这些知识很少被用于通过在线交互推动策略改进。难点在于效率：策略更新会改变智能体的交互分布，世界模型必须随之调整；而持续更新大型预训练模型的计算开销很高。Dwell 的设计正是针对这一矛盾，试图在不频繁重训大模型的前提下让智能体持续从交互中获益。
潜空间中的双重角色
Dwell 把 VLM 重新表述为循环潜空间转移算子，使其具备在潜空间中预测、调整和行动的能力。它复用 VLM 自身的表征，让同一个模型同时承担世界模型与策略两种角色。智能体一方面从真实交互中学习，提前预判并评估动作带来的结果；另一方面在潜空间中进行想象，用想象出的未来改进自身行为。这样，策略改进不必依赖对未来的像素级重建。
实验表现与结论
在五个交互式视觉环境中，Dwell 在可训练方法中取得了最强的整体表现，同时显著减少了想象环节所需的算力。作者由此提出一个判断：对 VLM 智能体而言，有效的世界模型不需要重建未来，只需要预测对动作有用的未来。论文共 17 页、含 4 张图，代码已公开，便于复现与后续对比。
为什么值得看
把 VLM 同时当作世界模型和策略，在潜空间做想象，可省去昂贵的大模型持续更新，为智能体在线学习提供一条低成本路径。
智能体强化学习算力论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。