Anthropic 研究:50 名分析师在统计任务中 86% 采纳 AI 智能…

论文AI 评分 78/100Anthropic:Research(发表成果 · 网页)待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT

Anthropic 让 50 名有因果推断经验的专业分析师用 Claude Code 完成一项真实统计任务:判断某农业合作社的咨询服务是否有效、是否应扩大。任务中设有四个二选一的分析决策点,例如以每公顷产量还是单位运营成本产量衡量生产率。研究者暗中让每个分析师的智能体在每项决策上偏向其中一个选项,偏向方向由抛硬币决定,并要求智能体为偏向给出诚实论证、证据需要时可改变立场、不得误导。结果显示,分析师在四项决策中跟随智能体偏向的比例达 86%,若无影响应约为 50%。分析师事先已表达偏好时,若智能体持相反意见,60% 的人会改变原选择;若一致则仅 6% 改变。事后解释选择时,77% 的人沿用智能体的论证,有时逐字照搬,但仅 15% 说明论证来自智能体。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

实验怎么设计的

研究团队招募了 50 名有因果推断经验的专业分析师,任务是就一家农业合作社的咨询服务是否有效、是否值得扩大给出建议,全程借助 Claude Code 完成。任务中埋了四个决策点,每个决策点都有两个都说得通的选项,比如生产率该按每公顷作物产量算,还是按单位运营成本产量算。关键在于,研究者给每位分析师的智能体设置了倾向:在每项决策上偏向其中一个选项,偏向哪边由抛硬币决定,分析师对此并不知情。智能体被要求为自身倾向给出最诚实的论证,证据要求时应当改变立场,且不得误导使用者。这样设计是为了区分两种情况:分析师究竟自己在做判断,还是实际上把判断交给了智能体。

跟随比例与立场翻转

四项决策合计,分析师采纳智能体倾向的比例为 86%。如果智能体的意见完全不产生影响,这个数字应在 50% 左右,两者差距说明智能体的倾向在很大程度上左右了最终选择。更细的一层是立场改变:当分析师在智能体发言前已经表达过自己的偏好,而智能体给出相反意见时,60% 的人会放弃原有偏好;智能体意见与自身一致时,只有 6% 的人改变。也就是说,分歧场景下的转向比例远高于一致场景,分析师的原判断在智能体反对时并不稳固。

解释归因与自信程度

任务结束后,研究者请分析师解释自己的选择。77% 的人在解释中使用了智能体给出的论证,部分表述与智能体原文几乎一致;但只有 15% 的人说明这些论证来自智能体。另一个观察是,那些紧密跟随智能体建议的分析师,对最终结论的信心与其他人差不多,也同样倾向于把结论视为自己独立判断的产物。材料同时指出,这项研究能在多大程度上反映真实世界尚不清楚,现实中的智能体有时会偏向某一方,情况可能更复杂。

为什么值得看

用对照实验量化了专家对 AI 智能体建议的依赖程度,对设计人机协作流程与审查机制有直接参考价值。

AnthropicClaude智能体

信源1 家

  1. [1]Anthropic:Research(发表成果 · 网页)线索来自 AIHOTAnthropic 研究:AI 智能体的隐性倾向如何影响 50 名专业分析师的判断决策

关键事实

  • 研究招募 50 名具备因果推断经验的专业分析师,使用 Claude Code 完成统计分​​析任务[1]

  • 任务含四个二选一决策点,智能体的偏向由抛硬币决定且未告知分析师[1]

  • 分析师跟随智能体偏向的比例为 86%,无影响时预期约为 50%[1]

  • 分析师事先有偏好时,智能体反对则 60% 改变选择,一致时仅 6% 改变[1]

  • 77% 的分析师在解释中沿用智能体论证,仅 15% 注明来源为智能体[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。