arXiv cs.AI精选73

XStack:机器学习代码仓库迁移基准

XStack: A Benchmark for ML Repo Migration

· 11小时前

精选理由

XStack提供可验证的跨框架、跨硬件代码迁移基准,帮助衡量并推动机器学习代码可靠迁移。

AI 摘要

机器学习代码应该能在研究人员选择的环境中运行,而不是局限于最初编写它的环境。如今,机器学习代码主要存在于两大生态系统中:运行在 NVIDIA GPU 上的 PyTorch 和运行在 Google TPU 上的 JAX。在这两个生态系统之间迁移代码仓库,意味着需要跨框架和硬件进行构建与测试。这种迁移既是(1)一项实际需求,因为它让研究人员能够使用不同的硬件,也是(2)一项天然的基准任务:它涉及不同的框架和硬件,覆盖整个代码仓库,需要长程执行且富有挑战性。我们推出了 XStack,这是一项评估智能体在这两大生态系统之间迁移机器学习代码仓库能力的基准。每个智能体都会获得一个 PyTorch 代码仓库和一台环境干净的 TPU 机器,并且必须交付一个 JAX 代码仓库。其输出若满足我们的评分标准,即视为通过;这些标准基于源代码仓库公开发表的结果,并由我们核验和校准。智能体执行迁移的可靠性仍然不足:Claude Opus 5 的通过率为 75%,GPT-5.6-sol 为 45%,其他所有智能体均不超过 40%。XStack 是让机器学习代码摆脱其生态系统束缚的一步。我们发布 XStack,旨在让跨框架、跨硬件可靠迁移的进展变得可衡量。

查看原文(arXiv cs.AI)