MFG：用多轮反馈强化学习训练LLM优化分子
论文AI 评分 62/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 MFG（Multi-turn Feedback Guided）分子优化框架，用强化学习训练大语言模型在多轮迭代中利用上一轮反馈逐步改进分子。该框架引入反馈向量，同时刻画性质提升与对源分子的相似度，并配套设计反馈对齐的奖励函数，鼓励跨轮次的渐进式改进。作者将其应用于多目标分子优化模型 GeLLM³O，得到 GeLLM³O-MFG，并在十个多目标分子优化任务上评测。结果显示，GeLLM³O-MFG 的平均相似度约束成功率最高，为 81.50%，高于基座模型 GeLLM³O 的 70.81%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载多轮反馈如何进入训练
论文关注的是多目标分子优化：在保持分子整体结构相近的前提下，同时改善多个性质。这类工作通常需要反复修改，并由计算或实验反馈指引方向。作者指出，已有基于大语言模型的方法虽然开始尝试这种迭代流程，但并没有被显式训练去利用反馈，而且多数方法只处理单轮优化。MFG 的定位正是补上这一环：它是一个强化学习框架，训练 LLM 依据此前轮次产生的反馈，一轮一轮地推进分子改进，而不是把每次修改当作彼此独立的单次任务。
反馈向量与奖励设计
为了让模型知道上一轮到底改得怎么样，MFG 构造了一个反馈向量，其中既包含各项性质的改进情况，也包含当前分子与源分子之间的相似程度。围绕这个向量，作者又设计了反馈对齐的奖励函数，使训练信号指向跨轮次的持续进步，而不是只在某一轮拿到好看的分数。这种设计把「像不像原来的分子」和「性质有没有变好」放在同一个反馈结构里，与只优化单一目标的单轮做法形成区别。
评测结果与适用范围
作者把 MFG 叠加在多目标分子优化模型 GeLLM³O 上，得到 GeLLM³O-MFG，并在十个多目标分子优化任务上评测。指标为相似度约束下的成功率，GeLLM³O-MFG 的平均值为 81.50%，基座模型 GeLLM³O 为 70.81%。论文摘要未给出各单项任务的分布、训练成本或与更多基线方法的比较，因此目前能确认的是这一平均指标上的提升，以及该方法面向的是需要迭代反馈的分子优化场景。
为什么值得看
把多轮反馈显式写进强化学习训练目标，并给出成功率对比，对做分子生成与 LLM 迭代优化的读者有直接参考价值。
强化学习对齐论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。