Infinite-Dreamer通过图像编辑世界模型合成GUI智能体训练数据
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把界面变化当作修图
这项工作的核心思路是把图形界面在操作前后的变化，重新定义成一次图像编辑任务。传统做法要么依赖人工录制操作轨迹，要么用文字描述或网页结构渲染来近似界面，前者难以规模化，后者会丢掉图标样式、控件位置这类像素层面的信息。研究团队改从像素出发，让视觉语言模型先观察一次操作带来的界面改动，并把这种改动写成结构化的增量文本，再用这些文本去微调一个图像编辑底座模型，使其能够按指令合成出逼真的界面截图跳转。这样得到的模型不再需要真实环境反复试错，属于免仿真的数据合成路径，产出物包括单帧的视觉鲁棒性数据，以及多步的想象轨迹。
合成数据喂出的智能体
为了检验合成数据是否真的有用，作者只用自己造出来的数据去微调 Qwen3-VL 基线，得到名为 Infinite-Actor 的模型，并在 AndroidWorld、MobileWorld 和 AndroidControl-Curated 三个基准上测试。结果显示，不同参数规模下 Infinite-Actor 都稳定优于对应的 Qwen3-VL 基线：8B 版本在 AndroidWorld 上的 Pass@1 提升 4.45，MobileWorld 的 Pass@3 成功率接近翻倍；2B 版本的 Pass@1 提升幅度达到 9.05。这些数字说明，即便不引入真人演示，仅靠图像编辑世界模型生成的截图跳转，也能给界面操作智能体带来可测量的能力增长，而且小模型受益更明显。
适用边界与读者意义
这套方法的适用范围集中在图形界面操作智能体的训练数据供给上，尤其是那些难以大量采集真实操作轨迹的应用场景。它的限制也来自同一处：合成质量取决于图像编辑底座对界面改动的还原能力，以及视觉语言模型把操作转写成增量文本的准确度，一旦描述偏差，生成的截图跳转就可能偏离真实界面。对关注智能体训练成本的人来说，这意味着数据瓶颈有了一条不依赖人工录制的新路径，代码已经公开，后续可以在此基础上继续验证更大规模与更多界面类型下的表现。
为什么值得看
提供免仿真、保留像素细节的GUI轨迹数据合成方案，显著提升小参数模型在移动端基准上的表现。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。