ABACUS 框架让冻结判别模型实现多步推理，准确率 99.67%
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载冻结模型上的程序化推理
这项研究关注的是判断模型的工作方式：这类模型面对语义问题时，会对一组有限的候选结果逐一打分，再从中选出答案。作者提出的框架名为 ABACUS，思路是把这种局部判断组织成可复用的程序，从而支撑多步推理。具体分工是：生成式教师模型在离线阶段设计判断模式与组合程序；在线阶段由判断模型处理各个局部的语义问题；已经保存下来的程序负责把判断模型的这些决定拼接成最终答案。整个过程中，判断模型的参数保持固定，能力扩展来自程序结构，而不是重新训练模型本身。作者还考察了设计工作在人与其教师之间三种不同的分配方式，重点放在通过共享界面完成构建这一路径上，并以 Kev 作为该框架的具体实例。
开发集与留出集的两段验证
在三个选定的 BIG-Bench Hard 任务上，九套各自独立构建的程序完成了 150 个开发输入对应的全部 450 次执行。随后进行的部署研究采用另一套流程：先在开发集上依据参考一致性做精修，冻结三套程序，再在 600 个留出问题上评估。结果显示，这些程序取得接近满分的宏平均准确率，而直接使用 Kev 的准确率与仅输出最终答案的 Qwen3.5-4B 都明显更低。作者同时把程序方案与 Qwen 不受限制的应答策略相比较，观察到两者准确率相当，但程序方案在在线速度上快出数倍，单题耗时从秒级降到更短的水平。
适用边界与读者关切
从材料给出的信息看，这套方法的收益建立在两个前提上：一是判断模型能够对有限候选结果稳定打分，二是教师模型离线产出的程序可以复用。程序在开发集上经过参考一致性精修后被冻结，再用于留出问题，说明其表现并非在线临时调整的结果。对关注推理成本的一方而言，值得留意的是参数不变、靠程序组合换取多步推理能力这一路径，以及随之而来的在线耗时下降；但材料只覆盖三个 BIG-Bench Hard 任务与 600 个留出问题，尚不足以说明该方法在其他任务类型上的表现。
为什么值得看
在模型参数不变的前提下，用程序编排判别模型的多步推理，准确率与速度同时大幅提升，为小模型推理提供可复用路径。
信源1 家
关键事实
框架由生成式教师模型离线设计判断模式与组合程序，冻结的判别模型在线回答局部语义问题，程序负责组合决策。[1]
在三个 BIG-Bench Hard 任务上，九个独立构建的程序完成了 150 个开发输入的全部 450 次执行。[1]
部署实验中三个程序在 600 道留出问题上宏平均准确率为 99.67%，直接使用 Kev 为 64.00%，仅输出最终答案的 Qwen3.5-4B 为 68.80%。[1]
与 Qwen 不受限回答策略的 99.07% 准确率相当，但每题耗时 0.255 秒，对比 2.150 秒，在线加速 8.43 倍。[1]
论文研究了人类与教师模型之间三种设计工作量分配方式，重点是通过共享接口完成构建。[1]
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。