DuoCook 发布：用虚幻引擎做双人协作视觉规划基准
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载单模型操控双角色
DuoCook 把两名玩家的协作烹饪任务交给同一个视觉语言模型来驱动。模型从俯视视角的画面中读取场景，输出的是高层动作选择，具体的移动寻路交由引擎完成。这样设计把需要考察的能力集中在状态跟踪、步骤排序与共享资源分配上，而不是底层操作。评测环境在 Unreal Engine 中搭建，地图由编码代理生成。研究者用这种方式构造出一批可复现的协作场景，让模型在有限时间内面对不断变化的画面做出决策。
二十张地图五类场景
基准共包含二十张地图，归入五个类别。这些类别分别对应设备争用下的集中式协调、地形变化，以及需要交接的依赖关系。为了让视觉信息更容易被利用，场景中放置了道具图例和锅具内食材数量的指示标记，目的地则以网格形式呈现，便于模型把画面位置与空间目标对应起来。地图与类别的组合构成了评测的骨架，模型需要在同一套规则下应对不同类别的压力点。
四模型与记忆消融
评测在全部二十张地图上比较了四个视觉语言模型，记录任务得分、订单完成情况、交付精度、动作被接受的比例，以及调用模型接口的开销。另有一组记忆消融实验沿用同样的二十张地图，考察共享的、由模型自行书写的笔记本所起的作用；两种条件下都保留了六条响应的动作历史。结果显示，笔记本记忆对不同模型的影响并不一致：Claude 与 Qwen 的平均差异为正，GPT 与 Gemini 为负。表现最好的模型平均订单完成率不到三成，说明这类协作任务对现有模型仍有相当难度。
指标背后的取舍
把任务得分、订单完成、交付精度、动作接受率与接口开销并列记录，意味着评测不只看最终做成了多少单，也看动作有多少被引擎接受、交付是否准确，以及达到这些结果付出了多少调用成本。共享笔记本的消融则把记忆机制单独拎出来观察：同一份由模型自己写下的记录，在不同模型身上带来方向相反的变化，提示记忆的收益取决于模型如何使用它。对关注视觉规划与双角色协调的读者来说，这套基准提供的是一组可对照的场景与多维读数，而不是单一排行榜。
为什么值得看
多智能体视觉协作缺乏统一评测，该基准给出地图、指标与记忆消融设置，并显示最强模型订单完成率仅 26.2%。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。