新研究提出能力流形框架统一ML扩展律

论文AI 评分 68/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

现有ML扩展律仅将预测损失与算力、参数和数据关联,无法衡量智能体在推理、检索等下游能力的差异。新研究引入能力流形这一多维框架,通过有界扩展函数将下游能力映射至预训练、后训练及测试时资源。其解析雅可比矩阵可量化能力对资源变动与交互的敏感度。该框架将Kaplan与Chinchilla类扩展律及测试时算力统一为流形上的轨迹。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

从损失到能力维度

这篇论文指出,以往衡量机器学习进展的标度律,通常把预测损失与算力、模型参数量、数据量挂钩。但当模型越来越多地通过智能体框架来部署时,单看损失已经不足以说明下游表现:损失接近的模型,在推理、检索、规划与适应等能力上可能差别明显。作者认为,目前缺少一个统一框架,把这类能力与机器学习全生命周期中相互耦合的资源联系起来。论文因此提出能力流形这一多维框架,用有界标度函数把下游能力映射到预训练、后训练与测试时三类资源上。

用雅可比看敏感度

在该框架中,作者用解析雅可比矩阵来量化能力对资源变化的敏感程度,以及不同资源之间的交互作用。也就是说,资源投入的边际变化会如何影响某一项能力,可以通过这一数学工具刻画,而不只是给出一个笼统的损失数值。作为初步应用,论文把 Kaplan 型和 Chinchilla 型标度律以及测试时算力纳入同一框架,说明这些已有的标度关系可以被统一表示为同一条能力流形上的轨迹。论文提交于 2026 年 9 月 23 日,作者为 Syed Ali Raza Zaidi 与 Maryam Hafeez,编号 arXiv:2609.27588,归入 cs.LG 与 cs.AI 分类。

对使用者的意义

对关注模型部署的读者来说,这一框架提示:评估模型时若只看损失,可能漏掉推理、检索、规划、适应等维度的差异,而这些差异恰恰决定智能体场景下的实际表现。框架把预训练、后训练、测试时三类资源放在一起考察,也意味着资源分配不再被视作彼此独立的选择,某一环节的投入会通过交互作用影响其他能力。论文目前给出的是分析性工具与对既有标度律的嵌入示例,其适用范围限于作者所设定的有界标度函数与所纳入的标度关系,并未给出新的实验数据或具体模型结果。

为什么值得看

突破仅看预测损失的局限,为评估和调配智能体多维度能力与全生命周期资源提供了统一数学框架。

智能体量化算力

信源1 家

  1. [1]arXiv cs.AI一手信源The Capability Manifold and ML Scaling Laws

关键事实

  • 现有ML扩展律仅关联预测损失与算力、参数和数据,无法表征推理等下游能力差异。[1]

  • 研究引入能力流形框架,通过有界扩展函数将下游能力映射至预训练、后训练和测试时资源。[1]

  • 解析雅可比矩阵可量化能力对资源变化及交互的敏感度。[1]

  • 该框架将Kaplan与Chinchilla类扩展律及测试时算力统一为流形上的轨迹。[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。