论文提出任务分解设计法:模型规模不再影响子任务表现

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文讨论 AI 系统设计中的取舍:任务对模型太难时,是扩大模型(更大、更好的提示、微调),还是把任务拆开,把能确定性求解的部分交给宿主程序,只把无法还原的模糊部分留给模型。作者提出「构造性对齐」:在拆出的子任务上,模型规模与性能的关系曲线变平,因为模型根本不执行这些子任务。作者在九个模型上测量,参数范围从 494M 的本地检查点到前沿 Opus 级模型;宿主解析上下文后,九个模型的操作选择得分相同,九个中有八个的选择器解析相同,而唯一无法拆分的标注任务在同一参数范围内仍呈斜率。由于任务已交给宿主,现成检查点即可,无需任务专用训练或微调。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

扩大模型还是拆解任务

论文把构建 AI 系统时反复出现的选择摆出来:当任务对模型来说太难,是让模型变大、改进提示或做微调,还是把任务拆开,把其中可以确定性求解的部分交给宿主程序,只把真正模糊的残余留给模型。作者的第一项主张是,很多被整体交给模型的任务,其实是确定性任务加一个很小的生成核心。这一判断决定了后续实验的设计:不是去比较哪个模型更强,而是看任务被拆走之后,模型还需要承担什么。

九个模型上的平坦曲线

核心实证结果被称为「构造性对齐」:在拆出的子任务上,模型规模与性能的关系曲线变平,原因是模型不再执行这些子任务。测量覆盖九个模型,参数从 494M 的本地检查点到前沿 Opus 级模型,仅本地系列就有三十倍参数跨度。宿主解析上下文后,九个模型的操作选择得分完全一致,九个中有八个的选择器解析一致;而唯一没有被拆分的标注任务,在同一参数范围内仍表现出随规模变化的斜率。由于任务已经离开模型,现成检查点就够用,不需要任务专用训练,也不需要微调。

方法构成与适用边界

作者给出三步:定位切分点的方法、让切分点得以存在的构造(一个确定性表面及其上的封闭语法),以及让残余部分安全的方式(解析确定性上下文、校验生成输出)。论文把这项工作与神经符号 AI、工具增强语言模型、生成后校验等路线做了定位对比,并明确区分了哪些是实测、哪些只是示例:实测集中在一个领域,物理设置、动作重定向、对象模型编辑以及一个 Web-CLI 工具族中的相同做法属于说明性材料,且该工具族出自同一作者,不构成独立复现。

为什么值得看

提供一种可测量的替代思路:把确定性部分移出模型,性能不再随模型规模变化,也省去微调。

大模型微调对齐论文

信源1 家

  1. [1]arXiv cs.AI一手信源Decompose, Don't Expand: Capability-Independent AI Systems by Construction

关键事实

  • 论文标题为《Decompose, Don't Expand: Capability-Independent AI Systems by Construction》,作者 Tejaswi Gowda,2026 年 10 月 28 日提交至 …[1]

  • 测量覆盖九个模型,从 494M 参数的本地检查点到前沿 Opus 级模型,仅本地系列就有三十倍参数跨度[1]

  • 宿主解析上下文后,九个模型的操作选择得分相同,九个中有八个的选择器解析相同;无法拆分的标注任务在同一参数范围内仍呈斜率[1]

  • 任务移出模型后,现成检查点即可胜任,不需要任务专用训练和微调[1]

  • 作者称该方法在物理设置、动作重定向、对象模型编辑及一个 Web-CLI 工具族中重复出现,但工具族为同一作者,不构成独立复现[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。