MIT研究被质疑:Astra改Qwen权重实验条件不一致

模型AI 评分 72/100量子位待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

spaCy作者、Explosion联合创始人Matthew Honnibal公开质疑MIT团队关于Astra的研究。该研究此前宣称,Astra仅修改Qwen3.5-0.8B的0.016%权重,就把数学成绩从7.9%提升到48.1%。Honnibal梳理论文中的8组实验后指出,识别小型网络、修复赛车模型等任务确实只输入原始权重数字,参数量在1.7万至17.2万之间;但修复8亿参数Qwen时,Astra被允许编写Python代码,并可进行最多50次前向测试,通过观察模型表现来修改权重。他认为论文把两类条件差异很大的实验放在一起呈现,容易让读者误以为同一种“读权重”能力可以扩展到大型语言模型。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

争议的核心指控

Honnibal用舞台魔术作比:魔术师每次换一种手法表演同一个戏法,观众却以为只有一种技术。他认为Astra论文的呈现方式与此类似。论文实际展示了三项能力——读取权重识别小型网络任务、从零生成或修改参数让网络玩《打砖块》、修改Qwen权重提升数学表现,但摘要给人的印象是Astra仅靠观察原始权重就能理解并修改另一个模型。Honnibal逐条核对8组实验后指出,支撑这三项能力的实验条件并不相同,把它们打包呈现会误导读者。

两类实验的条件差异

在识别小型网络功能、修复卡住的赛车模型等实验中,Astra确实只接收原始权重数字作为输入,不能运行Python,也不能执行目标网络观察行为,但处理的参数量只有1.7万到17.2万。到了最受关注的Qwen数学修复实验,Astra并未直接读取原始权重,而是被授权编写Python代码,并可进行最多50次前向测试,通过观察模型在一批练习题上的表现来分析和修改权重。Honnibal认为,这更像一个借助工程手段介入的“场外教练”,而非摘要暗示的统一“读脑”能力。

被质疑之外的价值

Honnibal也承认,即便去掉“读心术”的光环,让模型被提示去设计并执行原本需要人类机器学习工程师完成的任务——编写代码分析甚至直接修改网络权重——本身就是明显进步,一两年前的模型在这些任务上都会失败。争议点不在能力是否存在,而在成果的呈现方式:把两种条件不同的能力包装成统一的读写AI大脑的“超能力”,容易放大外界预期。

为什么值得看

热门研究的能力边界被逐条拆解,提醒读者区分论文摘要印象与实验实际条件。

Qwen论文

信源1 家

  1. [1]量子位MIT神作被锤:Astra爆改Qwen权重?就吹吧!

关键事实

  • Astra宣称仅修改Qwen3.5-0.8B的0.016%权重,数学成绩从7.9%升至48.1%[1]

  • 质疑者Matthew Honnibal是spaCy作者、AI公司Explosion联合创始人[1]

  • Honnibal梳理了论文中的8组实验,指出各实验条件差异很大[1]

  • 只读原始权重的实验中,模型参数量在1.7万到17.2万之间[1]

  • 修复Qwen时Astra可使用Python,最多进行50次前向测试[1]

相关 · 模型

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。