Anthropic 向 METR 开放类员工权限，独立评估模型风险
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载开放访问的具体安排
Anthropic 表示，已开始向 METR 这一评估前沿 AI 模型的非营利团队提供类员工访问权限，METR 会将其风险评估结果对外发布。此前一年，双方已围绕 Anthropic 的风险报告完成多次审查。除 METR 外，Anthropic 也在与 SecureBio 和 Accenture 合作开展评估，并与包括 Hugging Face 在内的多家机构处于早期磋商阶段。Anthropic 称，此举是上月承诺加强独立第三方评估之后的落地动作，公司还签署了白宫超级智能协议，承诺与独立外部审计或评估方合作。
为何引入外部评估
Anthropic 给出的理由是，模型能力增强后需要更强的防护措施和更具挑战性的风险评估，公司希望就自身决策接受公开问责。但安全工作的相关信息无法全部公开：一部分可能被恶意行为者利用，另一部分如算力或训练信息属于商业敏感内容。因此 Anthropic 选择让第三方评估方深入接触内部信息，由后者分享证据并给出关于模型风险的推理结论，目标是缩小评估方对前沿 AI 公司系统的理解与公司自身理解之间的差距。
评估方需要满足的条件
Anthropic 列出评估前沿模型所需的三项条件。其一是专长：能够评估前沿模型能力，并理解评估可能出错的方式，例如对齐伪装。其二是独立性：评估方不应持有被评估公司的股权，也不应在财务或运营上依赖该公司。其三是访问权限：除接触最新模型外，还需了解模型训练方式、防护机制如何运作等信息。此外，评估方还需拥有公开发布对模型或流程的观察与评估结论的自由。Anthropic 以银行监管作类比，称监管机构会向大型银行派驻检查员，因为银行比外部更了解自身风险状况。
为什么值得看
头部模型厂商首次把内部训练与安全信息开放给外部机构，并允许其公开发布结论，评估机制的具体边界值得关注。
信源2 家
关键事实
相关 · 行业
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。