研究揭示LLM多阶段流水线存在最高40.5%精度损耗
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把接口损失单独量出来
这篇预印本提出一个测量思路：把模型、题目、阶段数量、各阶段的提示词以及补全预算全部固定住，只改变一个条件——某个阶段还能不能看到最初的问题。两次运行之间的准确率差值，被作者称为分解税。按这个设定，一条四阶段的流水线在自身各阶段衔接处最多丢掉40.5个准确率点，对应gemma-3-12B在MATH-500上的表现，Holm校正后的p值为1.66e-19，作者称这是主族中最大的一笔税。测试覆盖来自九家机构的21个开放权重模型，在GSM-Hard与MATH-500上每个单元格取200对配对题目，主族的118项检验中有70项通过Benjamini-Hochberg校正、54项通过Holm校正。作者还设置了一个安慰剂对照：它携带至少六成的额外token，但最多只含题目中的一个词，结果什么也没能挽回。
改写一句话税就变
分解税的大小并不只由模型决定，提示词的措辞会直接改变它。作者把某个阶段的指令重写之后，gemma-3-12B的税从4.5点跳到36.5点。反过来，在一个负责罗列数值量的阶段里加上“它们之间陈述的每一种关系”这句话，MATH-500上9个模型里有9个的税都下降了。这说明流水线是一段一段搭起来的，但账单出现在段与段之间的接口上。作者据此给出的做法分成两条：在出现损失的那个接口之后重新接地，也就是让该阶段重新看到原始问题；以及当某个阶段必须列出数值量时，要求它同时保留这些量之间的关系。
修复要放在损失之后
重新接地的位置很关键。作者发现它应当放在损失发生之后，而不是之前。在只有一个有损接口的情况下，对接口之后的阶段做重新接地，在两个基准上都是7个模型里7个优于对接口之前的阶段做同样处理；在MATH-500上，对更早阶段做修复的结果比完全不修还差，同样是7个模型里7个如此。作者还提到，更新的模型照样要交这笔税：gemma-4-12B丢掉37.0点，而上述修复办法在测试的三个最新模型上依然成立。此外，一项封存的留出测试推翻了作者预先登记的更强规则，那条规则原本想根据接口类型和接收方类型来预测哪个阶段付费，因此他们改为一次只测一个阶段来定位这笔税。
对搭流水线的人意味着什么
这项工作的适用范围是开放权重模型上的多阶段流水线，测量对象是GSM-Hard和MATH-500这类题目，每个单元格使用200对配对题目，论文共23页、5张图，属于投给Artificial Intelligence的预印本，同时挂在cs.AI、cs.CL与cs.SE分类下。对实际搭建流水线的人来说，含义比较直接：准确率的损耗未必来自模型本身，而可能来自阶段之间信息被截断的方式；与其整体换模型，不如先检查每个接口是否还保留着原始问题，并把修复动作放在有损接口的下游。作者也承认，他们无法用接口与接收方的类型提前推断出付费阶段，只能逐段实测，这意味着定位成本仍然存在。
为什么值得看
揭示多阶段LLM流水线架构的固有精度代价，并提供即插即用的提示词与重接地修复方案。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。