Anthropic研究员称AI有超一成概率灭绝人类
观点AI 评分 85/100The Verge
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
Anthropic安全团队负责人表示，自我改进型AI的发展速度超出预期，未来十年内导致全人类灭绝的概率超过10%。尽管公司尚未制定出确保高级AI安全与对齐的具体方案，且目前未走上明确轨道，但仍在与竞争对手竞相开发此类系统。一位刚离职的研究员指责相关企业是在拿人类生命进行赌博。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载高风险概率评估
Anthropic安全团队负责人Evan Hubinger对自我改进型AI表达了深切担忧，指出其发展速度快于预期。他个人估计，在未来十年内，AI导致全人类灭绝的概率超过十分之一。这一表态是对刚离职研究员Jacob Coxon观点的直接回应，Hubinger认同Coxon关于企业正在拿人类生命进行赌博的指责。
缺乏安全方案
尽管面临极高的生存风险，Hubinger坦言Anthropic目前尚未制定出确保高级AI保持安全并与人类价值观对齐的计划。他进一步表示，公司甚至没有明确走上开发此类解决方案的轨道。这意味着在追求技术突破的同时，对应的安全保障措施仍处于空白状态。
激烈的行业竞争
Jacob Coxon在宣布离职的帖子中指出，Anthropic及其竞争对手正陷入一场激烈的竞赛，争相开发自我改进的超级智能。Coxon曾参与训练OpenAI和Anthropic的系统，他指责这些公司明知AI可能带来毁灭性后果，却仍为了抢占先机而推进研发。行业内部长期担忧这种递归式自我改进可能使系统失控。
为什么值得看
头部实验室核心人员公开承认缺乏安全方案且风险极高。
Anthropic对齐安全
信源1 家
关键事实
相关 · 观点
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。