HEMO 让自动算子设计的调度框架本身自我进化
论文AI 评分 66/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
论文提出 HEMO,把自动算子设计(AOD)中负责发现算子的调度框架本身作为优化对象。此前多数方法只进化算子,发现算子的流程保持固定,难以适应新的帕累托权衡与算子交互变化。HEMO 维护持久的框架状态,每次只更新一个模块,调整检索哪些经验、改进哪些算子、选择哪些父代以及如何编排搜索步骤,并以解的质量和运行时间指导更新,用折扣 UCB 调度器把调整导向效用变化的模块。持久化记忆文件系统跨框架状态保留候选结果与诊断反馈。在八个多目标组合优化任务和两种结构不同的进化骨干上,该方法优于传统进化、神经和基于 LLM 的 AOD 基线,并能迁移到相关任务。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载被固定的发现流程
论文指出,自动算子设计近年引入大语言模型,为多目标组合优化生成针对具体问题的搜索与变异算子。但多数做法只让算子本身进化,负责发现算子的那套流程始终不变。当新的帕累托权衡出现、算子之间的交互发生改变时,搜索应当往哪里走、以何种方式推进都会变化,固定流程难以随之调整。HEMO 的切入点正是把这层流程也纳入优化范围。
单模块更新与调度
HEMO 维护一个持续存在的框架状态,每次只改动其中一个模块,修改的内容包括决定检索哪些经验、优先改进哪些算子、挑选哪些父代,以及如何编排各搜索步骤。判断改动好坏依据的是下游解的质量和运行时间。折扣 UCB 调度器负责在模块效用发生变化时,把适应方向转向更有希望的模块。配套的持久化记忆文件系统在不同框架状态之间保留候选结果与诊断反馈,使后续状态能建立在已积累的优化经验之上。
实验范围与结果
实验覆盖八个多目标组合优化任务,并采用两种结构上不同的进化骨干。对比对象包括传统进化方法、神经方法以及基于大语言模型的自动算子设计基线,HEMO 在这些对比中表现更强,同时能有效迁移到相关任务。论文将其定位为把自动算子设计从进化单个算子,推进到改进发现这些算子的搜索过程。全文含补充材料共 48 页,含 5 张图与 13 张表。
为什么值得看
关注 LLM 自动算子设计的人可看到:优化对象从算子扩展到发现算子的流程本身,并给出跨任务迁移证据。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
