Industrial ReMEmbR 将时空记忆扩展到机器人车队
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
这篇论文提出 IndustrialRemembr，把 NVIDIA ReMEmbR 的时空记忆能力扩展到仓库机器人车队。系统只在需要时才生成场景描述，从而降低服务端算力开销。每台机器人用 NVIDIA Jetson 运行 Cosmos-Embed1 生成检索嵌入、Cosmos3-Edge 生成视觉 token、Wan2.2 VAE 生成重建潜变量，原始摄像头画面不上传。编码模型还用于检测图像块中的人物并将其置零，以支持符合 GDPR 的 PII 抽象。Cosmos3-Edge 在视觉-语言边界被拆分，视觉编码器留在机器人端，语言解码器放在本地服务器；Nemotron 智能体按内容、位置和时间检索记忆，并用缓存的视觉 token 查询解码器。该设计免去写入时生成描述，缓存的 token 解码在全部 450 次测试解码中复现了未拆分模型的输出。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载系统构成与端侧分工
IndustrialRemembr 的核心是把记忆的写入与读取成本从服务端前移到机器人端。每台机器人搭载 NVIDIA Jetson，用 Cosmos-Embed1 把视频片段编码成检索嵌入，用 Cosmos3-Edge 产出视觉 token，用 Wan2.2 VAE 生成重建潜变量。原始摄像头帧不离开机器人，上传的只是这些编码结果。这一分工直接针对仓库车队持续观测带来的算力、通信与存储开销：例如要解释反复出现的通道堵塞，原本可能需要翻看多台机器人跨多个班次的视频。
模型拆分与按需描述
系统把 Cosmos3-Edge 沿视觉-语言边界切开，视觉编码器部署在机器人上，语言解码器放在本地服务器。写入阶段不再生成文字描述，从而省去这部分计算；读取时由 Nemotron 智能体按内容、位置和时间检索记忆，再用缓存的视觉 token 去查询服务器端的解码器。论文报告，这种缓存 token 解码在全部 450 次测试解码中都与未拆分模型的输出一致，说明拆分没有改变生成结果。
隐私处理与适用场景
同一套编码模型被复用来检测图像块中的人物，并把对应区域置零，实现 PII 抽象，以支持符合 GDPR 的部署要求。整体设计面向仓库机器人车队这类需要跨班次、跨设备回溯运行状况的场景，把共享时空记忆做成可检索的语义层，同时把原始画面上传和写入时描述生成这两项主要开销去掉。
为什么值得看
展示了在机器人车队上做共享时空记忆的端侧-服务器拆分方案，兼顾算力成本与隐私合规，对具身智能与边缘部署有参考价值。
智能体算力论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。