Anthropic 2021年内部路线图曝光,提前规划Claude Code与…

模型AI 评分 82/100量子位待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

因一起版权官司,Anthropic一份2021年7月的内部研究路线图被公开。文件将终极目标定位为能创建、编辑和解释软件的通用AI助手,具备写函数、找Bug、设计API等能力。实现路径上,CEO Dario Amodei决定短期先验证工具调用可行性,长期演进为编程助手。预训练部分提出训练1万亿参数及以上模型并探索超长上下文;对齐部分研究模型自我评估与测试时计算。联合创始人Sam McCandlish与Dario还讨论了无沙箱隔离部署工具的安全问题。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

一份被官司翻出的旧文档

Anthropic在2021年7月留下的一份内部研究路线图,因版权诉讼被公开。这份文件被标注为最高机密,PDF正文只有两三页,篇幅极短。彼时这家公司刚从OpenAI独立出来数月,整个团队规模仅十几人。路线图写下的终极目标,是做出安全且有益的AGI。在这样一份体量很小的文档里,团队把要做的原型定位成一款通用AI助手,它能够创建、编辑并解释软件,能力上要对标一名软件工程师同事,也就是把工程岗位所需的技能整体纳入目标,而不是只覆盖其中某一环。

跳过补全直奔代理

GPT-3在当时刚刚走红,行业里常见的思路是把模型用在代码补全上。这份路线图没有沿着补全这条路走,而是直接把方向定在软件工程代理上。围绕先做哪一步,内部有过不同意见:研究员Andy Jones提出的问题是,应该先做编程助手,还是先证明工具调用能力;GPT-3论文一作Tom Brown则建议从代码Repo Browsing入手。CEO Dario最终拍板,短期内先验证工具调用,长期再演进为编程助手。这一取舍决定了早期工作的重心落在模型能否调用外部工具,而不是先打磨生成代码的体验。

万亿参数与超长上下文

路线图对模型规模给出了预判,提出要训练1T即一万亿参数及以上的超大模型。作为对照,当时175B参数的模型已经被视作庞然大物,两者相差一个数量级。除了参数,文档还提出探索超长上下文等机制,用来容纳海量记忆。在2021年,团队已经在研究让模型评估自身输出,并把这种评估当作反馈信号使用。文档中还出现了Test-time compute这一概念,它被放在对齐与判别器的语境里讨论。联合创始人Sam McCandlish则提出另一个问题:如何在没有沙箱的情况下安全部署工具。这些问题指向同一件事——能力扩张的同时,安全与可控要被一并设计进去。

为什么值得看

一份五年前的内部文件,提前写明了当下Agent、工具调用与超长上下文的技术走向,可对照今天的落地进度。

AnthropicClaude大模型对齐安全

信源1 家

  1. [1]量子位有预言家!A社研究蓝图曝光,Claude Code来自5年前

关键事实

  • Anthropic一份2021年7月的内部研究路线图因版权官司曝光,PDF正文仅两三页,当时标为最高机密。[1]

  • 路线图将终极目标定位为能通过自然语言创建、编辑和解释软件的通用AI助手,具备写函数、找Bug、设计API等能力。[1]

  • CEO Dario Amodei拍板:短期先验证工具调用可行性,长期演进成好用的编程助手。[1]

  • 预训练部分提出训练1万亿参数及以上超大模型,并探索超长上下文或其他容纳海量记忆的机制。[1]

  • 联合创始人Sam McCandlish提出如何安全部署没有沙箱隔离的工具,Dario补充关注部署时执行代码的Tool。[1]

相关 · 模型

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。