面壁智能ForgeKernel零源码生成算子,直播反超DeepSeek Fla…
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载直播中的性能爬坡
这场直播从零开始,AI只拿到算子的数学定义和目标硬件约束,没有DeepSeek的原始实现可参考。第一版通过正确性检查时耗时1834微秒,效率偏低;不到4小时压到593微秒,降幅约67.6%,已接近当时最佳实现的九成;第7小时前后出现一次核心结构突破,先超过自己的上一代版本,随后首次超过FlashMLA。上午9点多直播结束时,最终版本定格在472微秒,对比FlashMLA的518微秒快9.8%。全程42轮迭代、32个版本,占用1张B200与22个GPU小时,人类为这个算子写的代码是0行。
昇腾三榜的成绩
在直播之前,ForgeKernel已于10月27日被昇腾CANN官方点名,同时登顶CANNBench的950DT、950PR、A3三张榜单。950DT榜上总分4010.75排名第一,领先第二名27.8%,基准加速比1.533×,约为第二名的143%;该芯片配套算子库尚在建设初期,人工适配周期长,ForgeKernel率先完成适配。950PR榜竞争最激烈,前三名基准加速比都达到1.3倍,ForgeKernel总分4165.94居首,基准加速比1.638×,约为第二名的1.18倍。A3对应昇腾910C,ForgeKernel在CANNBench v1.1封榜时已拿下第一,v2.0开榜后位置未让出,总分4341.16,基准加速比1.898×,约为第二名的1.22倍。
跨生态与自进化机制
直播中ForgeKernel跑在英伟达B200上、使用CUDA生态,三张榜单则在昇腾的独立架构与工具链上完成,同一套系统在两边都拿到第一。其方法建立在10月27日与清华大学等机构发布在arXiv的JustGoal论文之上:只给优化目标、不提供算子知识、不规定固定流程,在B200上10个算子中有8个跑赢人类维护的开源库;同一模型套用MIT韩松团队参与开发的KDA-0.5框架后,单配置优化任务平均成绩只有JustGoal的0.95×。但只给目标也有短板,模型擅长调细节却难以独立设计整体架构,常在开局几次尝试中把路线定死。ForgeKernel据此补了三块:把架构设计与实现能力分离并将架构设计抽象成里程碑拆解问题;把实测验证过的硬件经验存入知识库供其他算子复用;把自己写出的最好版本当作下一轮对手持续自进化。
为什么值得看
算子自动生成在英伟达与昇腾两套生态同时拿到第一,直接冲击手写算子的人力瓶颈,值得关注其开源后的实际可用性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
