ROSTrans 基准测试：六个前沿 LLM 的 ROS1 转 ROS2 迁移…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准怎么构建
ROSTrans 面向 ROS1 到 ROS2 的代码迁移这一具体场景，从 70 多个开源 ROS1 仓库中抽取代码，整理成 108 个带脚手架的补全任务。任务按正确性层次分类：接口级关注迁移后接口是否对齐，行为级关注节点行为是否一致，系统级关注多节点协同与中间件配置等整体性质。每个任务都配有一套可执行的参考物，包括经过验证的 ROS2 实现、会真正启动节点并调用话题、服务、动作和参数的运行时测试套件，以及用于复现的容器环境。这套设计针对的是 ROS 代码的特殊难点：节点间协调、中间件配置和生命周期语义，很多正确性只有在节点跑起来并通信之后才能观察到。
判分如何防止作弊
评测时，候选模型只被允许提供目标文件，这些文件被注入到一份除此之外完全固定的参考包副本中。也就是说，模型既不能自带测试，也不能修改或削弱用来评判它的测试。这样得到的分数反映的是迁移代码本身在真实运行中的表现，而不是模型对测试的迎合能力。对每个任务，评测让模型进行五次随机生成，以观察结果的稳定性，而不是只看一次采样。
评测结果与失败分布
六个前沿模型在全部任务上的 pass@1 都低于 10.9%。更值得注意的失败结构是：56.5% 的样本能够成功构建，却在运行时失败；另有 32.0% 的样本在迁移后接口的运行时断言上失败。后一类错误无法被只做编译检查的判分方式发现，说明仅以「能否编译」衡量 ROS 迁移质量会明显高估模型能力。这也解释了为什么该基准坚持用启动节点、跑通通信的方式来判定正确性。
执行引导修复的效果
在评测之外，作者还尝试了执行引导修复：让模型依据运行结果反复修改，最多进行三轮。三轮之后，Claude Opus 4.6 的任务成功率达到 49.1%，GPT-5.5 达到 47.2%。相比初始不足 10.9% 的 pass@1，这一提升说明运行时反馈对这类迁移任务有明显作用，但即便经过多轮修复，仍有约一半任务未能通过，距离可靠替代人工迁移尚有距离。
为什么值得看
首次用可执行、防作弊的基准量化大模型做 ROS 代码迁移的真实水平，暴露编译通过但运行失败的盲区。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。