CLARA 框架用追问把模糊指令转成结构化布置指令

论文AI 评分 62/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

针对视觉语言模型面对「打扫房间」「整理书桌」这类宽泛指令时容易高估自身理解、忽略用户偏好与物品摆放细节的问题,作者提出 CLARA(Conversational cLArification for Robotic Arrangement)。该框架模仿人类的澄清提问行为,通过有针对性的追问,把模糊请求细化为结构化的详细指令,明确物品应如何按用户偏好组织或重新摆放。这些澄清结果随后驱动基于扩散模型的图像生成流程,渲染出最终目标场景的写实画面,同时作为系统理解是否正确的视觉确认。实验与用户研究显示,CLARA 相比另一个同期先进 LVLM 系统,结果更准确、更一致。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

要解决的问题

机器人及 AI 系统越来越多地借助大型视觉语言模型执行高层指令,任务范围从日常家务延伸到较复杂的整理工作。但「打扫房间」「整理书桌」这类宽泛指令往往缺少关键信息:用户偏好什么、物品具体怎么摆放,这些细节直接决定最终结果是否符合预期。材料指出,在缺乏进一步引导时,这类模型容易高估自己对模糊指令的把握,即使遗漏重要细节也常认为自己已经理解充分。CLARA 的出发点正是补上这一环,而不是让模型直接猜测。

澄清与视觉确认的流程

CLARA 全称 Conversational cLArification for Robotic Arrangement,思路是模仿人类在信息不足时的追问行为,主动向用户索取关键信息。经过多轮有针对性的提问,原本含糊的请求被改写为结构化、细节明确的指令,说明物品应当如何按用户偏好组织或重新摆放。随后,这些澄清后的指令进入基于扩散模型的图像生成流程,渲染出最终目标场景的写实画面。这张渲染图不只是展示效果,还承担视觉确认的作用,让用户直接判断系统是否真正理解了自己的意图。

对比结果与适用场景

材料给出的评估方式是实验加用户研究,结论是 CLARA 相比另一个同期先进 LVLM 系统,产出更准确、也更一致。作者据此强调交互式澄清的价值:它把模糊指令与完全落地的任务规格之间的差距连接起来。从描述看,这套方法面向的是需要按用户偏好安排物品位置或布局的机器人整理类任务,核心环节是提问、结构化改写、图像生成确认三步。材料未披露具体模型规模、数据集构成或量化指标,也未说明实际机器人平台上的部署情况。

为什么值得看

展示用主动提问补足模糊指令的具体做法,并借生成图像让用户确认系统理解,对做机器人指令落地与 LVLM 交互的人有参考价…

信源1 家

  1. [1]arXiv cs.AI一手信源CLARA: A Cognitively-Driven Clarification Framework for Grounding Ambiguous Requests

关键事实

  • CLARA 通过有针对性的追问,把模糊请求细化为描述物品如何按用户偏好组织或重排的结构化指令[1]

  • 澄清结果被用于驱动基于扩散模型的图像生成流程,产出最终目标场景的写实渲染图[1]

  • 渲染图同时充当视觉确认,让用户核验系统对指令的理解[1]

  • 实验与用户研究显示,CLARA 相比另一个同期先进 LVLM 系统结果更准确、更一致[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。