研究提出可训练搜索策略，小模型可引导大模型推理
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载重复采样的瓶颈
当前让大模型处理困难推理任务的主流做法，是增加测试阶段的计算量，也就是反复独立采样多个解答，再从中挑选正确的一个。论文指出，这种策略的探索能力只来自解码阶段的局部随机性，因此多次尝试之间往往高度相似，产生大量近乎重复的候选，而不是真正不同的思路。作者由此提出一个问题：探索能否在语义层面被引导，即先针对具体问题采样概念、提示或策略，再让答案生成以这些内容为条件。
先出概念再作答
围绕这一思路，作者把流程整理成一种更强调探索的简单做法：在单条轨迹中一次性产出多个彼此不同的概念，再据此生成答案，并在重复采样难以奏效的难题上进行评估。在此基础上，概念生成被进一步做成可训练的部分：一个规模较小的概念生成器通过强化学习进行优化，优化目标是让它产出的概念尽可能提升下游那个规模更大、参数冻结的答案生成器的成功率。这样，小模型承担的是搜索策略的角色，大模型只负责在给定概念条件下作答。
同预算下的提升
在困难的数学推理问题上，训练后的概念生成器在答案生成开销相同的前提下，明显提高了答案生成器的 pass@k 指标，优于朴素重复采样；同时，它也超过了从规模大得多但未经调优的模型中抽取的概念。论文还报告了迁移效果：该概念生成器可以作用于它从未被训练配合过的答案生成器，其中包括来自不同模型家族的模型。作者据此给出的结论是，小模型可以被训练成面向更大模型的有效且可复用的搜索策略。
适用范围与限制
从材料看，这套方法的验证集中在困难数学推理任务上，评测指标是答案生成器在相同生成预算下的 pass@k，对比对象包括朴素重复采样以及更大未调优模型给出的概念。方法成立的前提是存在一个可冻结的答案生成器，以及一个可单独训练的小型概念生成器；训练信号来自下游答案生成的成功与否，而非概念本身的质量标注。对读者而言，这意味着提升推理表现未必只能靠增加采样次数，把计算投入到可学习的语义级探索上，是一条被论文验证过的替代路径。
为什么值得看
小模型经RL训练可充当大模型可复用搜索策略，突破重复采样局限，为提升推理测试时算力效率提供新路径。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。