新基准 PITCH 测主动式 AI 在多人群聊中的插话时机
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把时机单独拎出来测
这项工作的切入点是：主动式智能体不必等用户提问就能提供信息，但即便内容相关，插入时机不当也会打断协作。作者把问题收窄为：在候选发言已经确定（例如一句澄清或一条相关事实）的前提下，AI 应该在什么时候开口。为此他们构建了 PITCH，据其表述是首个基于大规模人类判断的主动式智能体时机基准，且判断来自同一场无脚本多人群聊的实际参与者，而非事后旁观的标注者。
数据如何收集
为拿到高质量判断，作者设计了一套交互界面：2 至 4 人同步聊天，参与者自己撰写候选 AI 发言，把自己和他人的候选消息放进聊天记录中的位置，再以小组讨论的方式确定每条消息的最佳落点。最终数据集包含 384 条候选发言和 1091 条判断，每条判断标记一个理想轮次、一个可接受窗口，或认为该发言根本不应出现；这些判断由 89 名参与者在其参与的 35 段对话中给出。
实时决策暴露的差距
作者在 28 种配置下评测了 15 个模型。当模型能拿到整段对话历史时，它们挑选最佳轮次的表现尚可，准确率为 57.8%；但要求它随着对话推进实时决定是否插话时，准确率跌到 19.0%，且近一半的插入位置早于所有参与者给出的可接受窗口。作为对照，普通人在实时决策下的准确率为 23.7%，过早插入的比例为 39.7%，两项都好于模型（模型过早比例为 46.4%）。
模型为何总是抢话
对模型推理过程的检查显示，其干预理由中有 93% 在谈相关性，也就是这条信息与当前话题是否有关，而几乎没有理由考虑「是否应该再等等」。这说明模型倾向于把「说了有用」直接当成「现在就说」，缺少对发言时机的显式权衡。作者据此指出，该基准揭示了智能体融入群体场景的能力缺口，并指向能够显式对时机进行推理的主动式智能体。
为什么值得看
主动式助手进入群聊场景时，时机比内容更容易出问题；该基准给出了可量化的评测方法与当前模型的差距。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。