Anthropic 2021年内部路线图曝光,提前规划Claude Code与…
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载一份被官司翻出的旧文档
Anthropic在2021年7月留下的一份内部研究路线图,因版权诉讼被公开。这份文件被标注为最高机密,PDF正文只有两三页,篇幅极短。彼时这家公司刚从OpenAI独立出来数月,整个团队规模仅十几人。路线图写下的终极目标,是做出安全且有益的AGI。在这样一份体量很小的文档里,团队把要做的原型定位成一款通用AI助手,它能够创建、编辑并解释软件,能力上要对标一名软件工程师同事,也就是把工程岗位所需的技能整体纳入目标,而不是只覆盖其中某一环。
跳过补全直奔代理
GPT-3在当时刚刚走红,行业里常见的思路是把模型用在代码补全上。这份路线图没有沿着补全这条路走,而是直接把方向定在软件工程代理上。围绕先做哪一步,内部有过不同意见:研究员Andy Jones提出的问题是,应该先做编程助手,还是先证明工具调用能力;GPT-3论文一作Tom Brown则建议从代码Repo Browsing入手。CEO Dario最终拍板,短期内先验证工具调用,长期再演进为编程助手。这一取舍决定了早期工作的重心落在模型能否调用外部工具,而不是先打磨生成代码的体验。
万亿参数与超长上下文
路线图对模型规模给出了预判,提出要训练1T即一万亿参数及以上的超大模型。作为对照,当时175B参数的模型已经被视作庞然大物,两者相差一个数量级。除了参数,文档还提出探索超长上下文等机制,用来容纳海量记忆。在2021年,团队已经在研究让模型评估自身输出,并把这种评估当作反馈信号使用。文档中还出现了Test-time compute这一概念,它被放在对齐与判别器的语境里讨论。联合创始人Sam McCandlish则提出另一个问题:如何在没有沙箱的情况下安全部署工具。这些问题指向同一件事——能力扩张的同时,安全与可控要被一并设计进去。
为什么值得看
一份五年前的内部文件,提前写明了当下Agent、工具调用与超长上下文的技术走向,可对照今天的落地进度。
信源1 家
关键事实
相关 · 模型
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
