PSGAgent 用智能体推理提升多模态模型的全景场景图生成能力
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载要解决的问题
全景场景图生成要求模型对物体之间的复杂关系做整体且细粒度的推理。现有把多模态大模型用于该任务的做法存在感知瓶颈：模型相当于静态观察者，只能看固定分辨率的视图。由此带来两个后果，一是涉及小物体或画面边缘物体的关键关系容易被忽略，二是复杂场景中含义模糊的谓词难以区分。论文把这一限制归因于观察方式固定，而非模型本身推理能力不足，因此选择从感知环节入手改造。
工具与推理循环
PSGAgent 是一个智能体式框架，核心是让模型在思考、行动、观察之间反复循环，逐步修正自己的视觉输入。它给模型配了两件工具：区域放大工具负责对局部做放大探查，主要针对小目标和位于边界处的关系；视觉高亮工具则按关系做定向分割，把与当前判断无关的上下文噪声过滤掉。两者分工不同，一个解决“看不清”，一个解决“看得太杂”，配合循环使用使模型能在同一张图上多次获取不同粒度的信息。
两阶段训练与奖励设计
为了让模型学会何时调用哪个工具，作者设计了两阶段训练流程。第一阶段构建高质量、带错误感知的多模态思维链数据集，为冷启动提供监督信号，使模型先具备基本的推理与工具使用格式。第二阶段引入分层奖励机制，并与 Group Sequence Policy Optimization（GSPO）结合，让模型在试错中形成有策略、能自适应调整的工具调用行为。这一设计把工具使用当作可优化的决策问题，而不是写死的流程。
结果与适用范围
在 PSG 基准上的实验显示，PSGAgent 取得 SOTA 表现，在整体场景理解和细粒度关系判断两方面都体现出能力。论文被 ACM Multimedia 2026 接收，篇幅 10 页、含 8 张图。需要说明的是，材料只给出基准上的 SOTA 结论，未披露具体指标数值、对比基线名单，也未说明推理时的额外开销与延迟，这些需要查阅原文确认。
为什么值得看
把智能体式工具调用引入场景图生成，为多模态模型突破固定分辨率感知瓶颈提供了一条可复用的训练与奖励设计思路。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。