MIT研究被质疑:Astra改Qwen权重实验条件不一致
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载争议的核心指控
Honnibal用舞台魔术作比:魔术师每次换一种手法表演同一个戏法,观众却以为只有一种技术。他认为Astra论文的呈现方式与此类似。论文实际展示了三项能力——读取权重识别小型网络任务、从零生成或修改参数让网络玩《打砖块》、修改Qwen权重提升数学表现,但摘要给人的印象是Astra仅靠观察原始权重就能理解并修改另一个模型。Honnibal逐条核对8组实验后指出,支撑这三项能力的实验条件并不相同,把它们打包呈现会误导读者。
两类实验的条件差异
在识别小型网络功能、修复卡住的赛车模型等实验中,Astra确实只接收原始权重数字作为输入,不能运行Python,也不能执行目标网络观察行为,但处理的参数量只有1.7万到17.2万。到了最受关注的Qwen数学修复实验,Astra并未直接读取原始权重,而是被授权编写Python代码,并可进行最多50次前向测试,通过观察模型在一批练习题上的表现来分析和修改权重。Honnibal认为,这更像一个借助工程手段介入的“场外教练”,而非摘要暗示的统一“读脑”能力。
被质疑之外的价值
Honnibal也承认,即便去掉“读心术”的光环,让模型被提示去设计并执行原本需要人类机器学习工程师完成的任务——编写代码分析甚至直接修改网络权重——本身就是明显进步,一两年前的模型在这些任务上都会失败。争议点不在能力是否存在,而在成果的呈现方式:把两种条件不同的能力包装成统一的读写AI大脑的“超能力”,容易放大外界预期。
为什么值得看
热门研究的能力边界被逐条拆解,提醒读者区分论文摘要印象与实验实际条件。
信源1 家
关键事实
相关 · 模型
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
