研究:AI 介入时机决定团队创意产出质量

论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出,生成式 AI 让创意选项变得廉价,瓶颈从「产出想法」转向「筛选想法」,因此 AI 的价值取决于其给出的选项出现在团队筛选环节之前还是之后。研究者将 148 个三人团队随机分配到五种语言模型使用时间安排中,在含限时搜索与选择阶段的产品设计任务里测试。把同样的 15 分钟使用时间从搜索阶段移到选择阶段,专家评定的创意得分下降 0.62 个标准差,尽管各团队使用模型的频率相近。平台日志显示差异出现在筛选环节:早期接入让想法池扩大五倍并被团队筛选;晚期接入的团队进入筛选时想法池与无 AI 团队一样小,随后再次搜索,其选择阶段查询中有 29% 用于生成新选项,而全程可用 AI 的团队为 11%。晚期接入增加的是数量而非质量,提交方案比无 AI 团队多 73%。语言模型评审能识别接入带来的收益,却识别不出时机偏晚的代价。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

瓶颈从产出转向筛选

论文的核心论点是,生成式 AI 让获取创意选项的成本大幅下降,创意工作的瓶颈因此从「生成选项」转移到「筛选选项」。作者据此提出一个判断框架:AI 的价值不取决于它能否产出想法,而取决于它产出的想法是在团队筛选之前还是之后到达。在模型设定中,早期到达的选项需要参与组合位置的竞争,因而会被筛选;晚期到达的选项出现在竞争结束之后,会被直接保留而不经筛选。这一区分构成了后续实验设计的理论基础。

实验设计与关键数字

研究采用预注册实验,把 148 个三人团队随机分配到五种不同的语言模型接入时间安排,任务为产品设计,包含限时的搜索阶段与选择阶段。所有团队面对的是同一个语言模型,差别只在于 15 分钟使用时间落在哪个阶段。结果显示,把这段时间从搜索阶段移到选择阶段,专家评定的创意得分下降 0.62 个标准差,而各团队使用模型的频率相近,说明差异并非来自使用强度。平台日志把差异定位在筛选环节:早期接入使想法池扩大五倍,团队随后对其进行了筛选。

晚期接入的行为模式

晚期接入的团队进入筛选环节时,想法池与完全没有 AI 的团队一样小,于是它们在选择阶段再次搜索,把 29% 的选择阶段查询用于生成新选项,而全程可用 AI 的团队这一比例为 11%。这种补偿行为带来的是广度而非质量:晚期接入团队提交的方案数量比无 AI 团队多 73%。作者由此指出,晚期接入增加的是提案数量,并未提升专家评定的创意水平。

评审能力与启示

论文还测试了语言模型作为评审的表现:模型评审能够识别出接入 AI 带来的收益,却识别不出时机偏晚所造成的代价。这意味着如果仅依赖模型评审来评估 AI 对创意工作的影响,可能会系统性地高估晚期接入的价值。对实际使用 AI 辅助创意流程的团队而言,这项研究提示接入时点本身就是一个需要设计的变量,而不只是使用时长或使用频率的问题。

为什么值得看

用随机实验量化了 AI 介入时机对团队创意质量的影响,对设计 AI 协作流程有直接参考价值。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源Too Late to Prune: Generative AI, the Screen, and Team Creative Decisions

关键事实

  • 148 个三人团队被随机分配到五种语言模型使用时间安排中[1]

  • 把同样的 15 分钟使用时间从搜索阶段移到选择阶段,专家评定的创意下降 0.62 个标准差[1]

  • 晚期接入团队选择阶段 29% 的查询用于生成新选项,全程可用 AI 的团队为 11%[1]

  • 晚期接入团队提交的方案比无 AI 团队多 73%[1]

  • 语言模型评审能识别接入的收益,但识别不出时机偏晚的代价[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。