EPOCH：以覆盖率为目标的LLM启发式设计进化框架
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载现有框架的两个缺口
论文针对的是基于大模型的自动启发式设计：由 LLM 在进化搜索中生成候选启发式，用于组合优化问题。作者指出，已有框架存在两类局限。一类把生成器冻结，或仅用标量适应度信号微调，这种信号掩盖了每个启发式究竟覆盖了哪些实例，搜索无法判断候选之间是否互补。另一类基于反思的框架借助自然语言反馈改进启发式，但反馈始终停留在提示层面，不会进入生成器的权重，因此模型本身不会因这些反馈而改变。EPOCH 的出发点正是同时补上这两处：让覆盖成为搜索目标，让反思被生成器内化。
覆盖率如何进入搜索
EPOCH 把实例覆盖作为进化搜索的目标函数。具体而言，父代选择、算子分配以及停滞恢复这三个环节，都不再只看单一适应度，而是优化一组启发式对训练实例的联合覆盖程度。这样搜索的产物不是一个孤立的强启发式，而是一个互补的启发式集合——不同成员覆盖不同实例，整体覆盖面更广。论文称，这一设计使搜索返回的是互补的启发式集成，而不是彼此重复的候选。
反思如何进入权重
在生成器一侧，EPOCH 采用经验偏好优化，让生成器从自己的搜索过程中学习。流程是：教师 LLM 针对已生成的启发式给出自然语言洞见，生成器带着这条洞见产生新的启发式；这些改进被组织成偏好对，用于直接偏好优化。作者指出，DPO 只教会生成器对这些改进排序，并不保证它能自己生成它们，因此又引入反思式自蒸馏项，提高生成器自主产出这类改进的概率，使收益能在搜索的长程过程中逐步累积。
实验结论与适用范围
论文报告的结果覆盖多种组合优化问题与多个开源 LLM 骨干。在这些设定下，EPOCH 得到的启发式集合表现优于仅推理的基线和经过微调的基线，并且能够跨问题规模泛化。论文未在摘要中给出具体的提升幅度、模型名称或问题规模数值，因此这些细节需查阅原文。该工作属于方法层面的贡献，面向从事组合优化、进化搜索与 LLM 微调的研究与工程人员。
为什么值得看
把覆盖率写进搜索目标、让反思进入模型权重，为 LLM 自动设计启发式提供了可复用的训练思路。
信源1 家
关键事实
论文标题为 EPOCH: Coverage-Aware Evolution with Experiential Preference Optimization for LLM-based Automated Heuristic Design[1]
作者为 Oguzhan Gungordu、Ayse Tursucular、Siheng Xiong、Faramarz Fekri[1]
EPOCH 让父代选择、算子分配和停滞恢复都优化启发式对训练实例的联合覆盖[1]
生成器通过经验偏好优化学习，教师 LLM 提供自然语言洞见，改进构成偏好对用于 DPO[1]
在多种组合优化问题和开源 LLM 骨干上，EPOCH 的启发式集合优于仅推理与微调基线，并可跨问题规模泛化[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。