XStack 基准发布:评测智能体把 PyTorch 仓库迁移到 JAX/TPU

论文AI 评分 72/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

研究者提出 XStack 基准,用来衡量智能体把机器学习仓库从 PyTorch + NVIDIA GPU 生态迁移到 JAX + Google TPU 生态的能力。任务给智能体一个 PyTorch 仓库和一台干净的 TPU 机器,要求交付 JAX 仓库,并以源仓库已发表结果为评分依据,由作者认证校准。结果显示迁移仍不可靠:Claude Opus 5 通过率 75%,GPT-5.6-sol 为 45%,其余智能体最高不超过 40%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

基准要解决什么

机器学习代码目前主要分布在两套生态里:PyTorch 配 NVIDIA GPU,以及 JAX 配 Google TPU。作者认为代码应当能在研究者选定的硬件上运行,而不是被最初编写时的环境锁死。跨生态迁移需要同时处理框架差异与硬件差异,还要在整仓库范围内构建和测试,因此既是现实需求,也构成一个长周期、有难度的评测对象。XStack 正是为衡量智能体完成这类迁移而设计。

任务形式与评分口径

每个智能体拿到一个 PyTorch 仓库和一台干净的 TPU 机器,目标是产出一个 JAX 仓库。输出是否合格,取决于它能否满足作者设定的评分标准;该标准以源仓库已公开的结果为依据,并经过作者的认证与校准。这意味着评测不只看代码能否运行,还要求迁移后的实现达到原仓库所报告的效果水平。

当前智能体的表现

材料给出的通过率显示迁移仍不可靠:Claude Opus 5 为 75%,GPT-5.6-sol 为 45%,其他所有智能体最高不超过 40%。作者把 XStack 定位为让跨框架、跨硬件的可靠迁移变得可度量的第一步,并已公开该基准,希望借此推动后续进展。

为什么值得看

跨框架、跨硬件的整仓库迁移是长周期难题,该基准给出可复现的评分口径和当前智能体的差距。

GoogleGPTClaude智能体GPU

信源1 家

  1. [1]arXiv cs.AI一手信源XStack: A Benchmark for ML Repo Migration

关键事实

  • XStack 要求智能体输入 PyTorch 仓库、在干净 TPU 机器上输出 JAX 仓库[1]

  • 评分基于源仓库已发表结果,并由作者认证与校准[1]

  • Claude Opus 5 通过率 75%,GPT-5.6-sol 为 45%[1]

  • 其余智能体通过率最高不超过 40%[1]

  • 论文提交于 2026 年 11 月 5 日,编号 arXiv:2611.08472[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。