论文提出 FGPO 优化基因组工具选择
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载采样与枚举的结构错配
这篇论文指出，在冻结推理器之上做强化学习、让策略学会调用哪些外部工具，已经是常见做法；但当工具子集空间可以被完整枚举时，这套做法会出现结构性不匹配。在专业科学场景里，反复出现的计算能力数量有限，却足以覆盖整个领域，因此工具子集的组合数量虽然呈组合式增长，规模仍小到可以逐一列举。GRPO 依然只靠少量采样轨迹来估计动作期望，这种近似会随训练推进而恶化：策略越集中于偏好的子集，就越反复重采样这些子集，采样到的奖励相互撞车，组归一化后的优势值随之消失。论文给出基因组推理上的观测：没有奖励信号的问题占比，在均匀参考策略下为 0.2%，经 GRPO 训练后升至 20.8%。
给全部子集打分
作者提出 FGPO（Full-Group Policy Optimization）。它的第一项改动是给每一个工具子集打分，直接优化精确的动作期望，使每次更新都能看到完整的动作空间，而不是从抽样结果里推断期望。第二项改动是把每个问题与子集组合的奖励预先算好，存成一张覆盖全部组合的表，训练循环里不再调用冻结推理器。这两点合起来，把原本依赖采样的估计换成可枚举的精确计算，同时把推理器调用从训练过程中移出。论文称，这一设计针对的正是工具子集空间可枚举的专门领域，其前提是该领域的计算能力集合足够小、可以穷举。
十五组对比的结果
实验覆盖五个冻结推理器与三个基因组基准，共十五种组合。FGPO 在这十五种设置里全部优于 GRPO，平均高出 6.75 分，最大提升为 14.20 分。在推理器调用成本上，论文给出的对比是：按需调用的标准 GRPO 训练安排需要 2.4 倍的冻结推理器奖励评估。在 GenomeQA 上，FGPO 把每个问题调用的工具数从 2.36 降到 1.40。对读者而言，这组数字说明两点：一是当动作空间小到可以枚举时，放弃采样、改用全量打分能带来稳定收益；二是预计算奖励表在减少推理器调用与工具调用数量上都有直接体现。适用范围受限于工具子集可枚举这一条件，论文并未声称该方法适用于无法穷举的动作空间。
为什么值得看
提出针对特定科学场景的精确策略优化方法，显著提升效率与性能。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。