PatternBench 提出衡量编译器之外的 LLM 代码优化能力
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载评测盲区在哪
论文指出，当前针对 LLM 代码优化的评测大多以端到端加速为指标，因此难以判断模型是否真的完成了预期的优化动作。对编译型语言而言，这个问题更突出：观察到的性能收益，可能来自现代优化编译器本就能恢复的变换，而非模型自身的优化行为。换句话说，加速数字里混入了编译器已有的贡献，模型能力被高估或误读。作者把关注点转向「编译器超越型优化」，也就是在编译器已经激进优化之后仍然存在的性能提升空间，并以此作为衡量模型语义推理能力的切口。
基准怎么设计
PatternBench 针对七类变换所遗留的残余优化机会构建评测任务，在测量运行时表现之外，还引入基于抽象语法树的优化忠实性分析。这一分析的作用是核对生成程序中是否真的出现了目标变换，而不只是看程序跑得更快。运行时评估与忠实性分析配对使用，使「跑得快」与「改对了」成为两个可分别观察的维度。论文给出的实验覆盖前沿模型、开放权重模型和微调模型三类对象，用来说明仅凭加速幅度无法完整刻画优化能力。
实验结论指向什么
结果显示，优化忠实性与实际获得的加速之间存在强关联，而微调能够同时提升忠实性和优化效果。作者由此提出，LLM 代码优化的评测不应只记录性能结果，还应确认目标变换是否被成功执行。这一主张把评测重心从单一的速度数字，转向「速度加变换是否落实」的组合判断，也为后续比较不同模型、不同训练方式在代码优化上的真实差异提供了可操作的框架。论文篇幅为 12 页，含 2 张图与 6 张表，发表于 COLM 2026 的 AI Measurement Science Workshop。
为什么值得看
现有 LLM 代码优化评测只看端到端加速，难以区分模型贡献与编译器已有能力，该基准提供了可核查的评测思路。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。