XStack 基准发布:评测智能体把 PyTorch 仓库迁移到 JAX/TPU
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
研究者提出 XStack 基准,用来衡量智能体把机器学习仓库从 PyTorch + NVIDIA GPU 生态迁移到 JAX + Google TPU 生态的能力。任务给智能体一个 PyTorch 仓库和一台干净的 TPU 机器,要求交付 JAX 仓库,并以源仓库已发表结果为评分依据,由作者认证校准。结果显示迁移仍不可靠:Claude Opus 5 通过率 75%,GPT-5.6-sol 为 45%,其余智能体最高不超过 40%。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载基准要解决什么
机器学习代码目前主要分布在两套生态里:PyTorch 配 NVIDIA GPU,以及 JAX 配 Google TPU。作者认为代码应当能在研究者选定的硬件上运行,而不是被最初编写时的环境锁死。跨生态迁移需要同时处理框架差异与硬件差异,还要在整仓库范围内构建和测试,因此既是现实需求,也构成一个长周期、有难度的评测对象。XStack 正是为衡量智能体完成这类迁移而设计。
任务形式与评分口径
每个智能体拿到一个 PyTorch 仓库和一台干净的 TPU 机器,目标是产出一个 JAX 仓库。输出是否合格,取决于它能否满足作者设定的评分标准;该标准以源仓库已公开的结果为依据,并经过作者的认证与校准。这意味着评测不只看代码能否运行,还要求迁移后的实现达到原仓库所报告的效果水平。
当前智能体的表现
材料给出的通过率显示迁移仍不可靠:Claude Opus 5 为 75%,GPT-5.6-sol 为 45%,其他所有智能体最高不超过 40%。作者把 XStack 定位为让跨框架、跨硬件的可靠迁移变得可度量的第一步,并已公开该基准,希望借此推动后续进展。
为什么值得看
跨框架、跨硬件的整仓库迁移是长周期难题,该基准给出可复现的评分口径和当前智能体的差距。
GoogleGPTClaude智能体GPU
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
