Anthropic CEO 提出放缓 AI 发展三步计划
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载先让外部机构看模型
Anthropic 把“放慢前沿”拆成了可以分头执行的动作,其中第一步由公司自己先做,不等同行。具体做法是向 METR 这类第三方评估机构开放模型访问权限,让对方核查公司在安全实践与承诺上的落实情况。这一步被描述为“单方面”推进,也就是在行业共同规则尚未成形之前,先把自家模型交到外部手里检验。开放的范围被形容为“广泛”,但材料没有给出接口形式、评估周期或覆盖哪些模型版本。对读者而言,这意味着模型安全性的判断权部分从开发者内部转移到外部机构,评估结论所依据的观察窗口不再只由公司自己掌握。
三步走的分工与次序
三步计划里,第一步是外部评估,第二步是把同行拉到一起,与政府机构共同确立通用的安全标准,并对不受约束的研发推进速度设定上限。第二步的落点被限定在民主国家范围内的 AI 企业,理由是通过立法和搭建监管架构需要时间,所以先由行业内部形成标准。第三步难度最高,要把同样的放慢安排扩展到更多国家,并形成一套全球通行的安全标准。三步之间是递进关系:先由单个公司交出评估权,再形成行业共识,最后才谈跨国框架。材料没有说明第二步由哪个机构牵头,也没有给出各步的时间表。
与既有呼吁的差别
此前已有研究者发出警告,OpenAI 的 Sam Altman 也提过或许到了该“放慢”开发的时候,但停留在表态层面。这次的差别在于把“放慢”翻译成了可执行的动作:谁来看模型、和谁一起定标准、按什么顺序推进。Amodei 在文中把“pace the frontier”解释为放慢训练与开发的节奏,腾出时间让企业建立防护措施、让监管方评估模型。Altman 随后表示 OpenAI 也会跟进同样的做法。也就是说,两家公司在一个此前只有口头呼吁的方向上,给出了各自愿意先迈出的那一步。
担忧来自两处
Amodei 给出的理由集中在两点。其一是递归式自我改进,即 AI 系统参与训练下一代 AI,使能力提升不断加速;他的说法是,若不加以约束,这种加速可能超出人类理解和控制系统的能力。其二是这个夏天 OpenAI 与 Hugging Face 相关的一起事件,材料在描述该事件时被截断,只留下“一群”这样的开头,无法确认具体经过与影响范围。可确认的是,这两点共同构成了他主张放慢前沿的依据。材料没有提供能力提升速度的量化指标,也没有说明外部评估能在多大程度上识别递归式自我改进带来的风险。
为什么值得看
头部安全公司首次明确提出减缓 AI 发展的具体执行路径与地缘政治考量。
信源2 家
关键事实
相关 · 观点
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
