Nubank用模拟工作流筛选AI客服，自服务率提升8.82个百分点
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载上线前先做模拟筛选
这套工作流的核心思路是在客服智能体正式部署之前，先用模拟环境做一轮筛选。做法是让合成客户对智能体的回复做出反应，同时用模拟出来的工具输出支撑多步骤的智能体流程，整个过程不调用生产后端。这样一来，候选方案可以在不接触真实用户的前提下跑通完整链路。研究团队把这一方法用在 Nubank 的 Card Delivery 智能体以及它的扩展版本 Card Management 上，后者是 Nubank 在巴西处理量最高的聊天支持智能体。之所以需要这种筛选，是因为客服智能体要识别意图、遵循复杂的运营规则并可靠地调用工具，在受监管行业里尤其难做；人工端到端测试覆盖有限，而直接上线做实验又会让客户暴露在失败体验中，进而损害信任。
模拟分数与线上对齐
在 4 个已部署版本上，模拟环境给出的版本级二元评估分数与生产环境的对应分数呈现出高度相关性。这一对齐结果是后续用模拟结果指导迭代的前提：如果模拟分数无法反映线上表现，那么基于模拟做的取舍就失去意义。研究团队据此进行模拟引导的迭代，并在一次线上 A/B 测试中把交易净推荐值提升了 36.69 分。这里的关键在于，模拟提供的是版本层面的比较信号，而不是替代线上验证；最终效果仍由真实流量的 A/B 测试确认。对于需要在多个候选版本之间做取舍的团队来说，这种先模拟后上线的顺序，把原本只能靠线上试错获得的判断，提前到了不接触客户的阶段完成。
开放权重配置的筛选
研究团队还用这套模拟流程筛选了开放权重模型的配置，累计跑了超过 16,000 场模拟对话。这些对话覆盖了模型选择、推理设置和提示词等多个维度的组合，使得大范围探索在不让客户承担风险的情况下变得可行。随后进行的线上 A/B 测试显示，被选中的模型把自助服务率提升了 8.82 个百分点，达到 Nubank 观察到的最高水平，同时交易净推荐值没有出现统计上显著的变化。这说明模拟筛选出的配置在真实流量中既带来了自助服务率的改善，又没有牺牲推荐值。对读者而言，这意味着模型、推理参数与提示词的组合空间可以先用模拟铺开，再把线上实验留给少数几个候选，从而避免把大量组合直接暴露给客户。
适用范围与代价
这套方法的适用前提是能够构造出合成客户与模拟工具输出，从而在不调用生产后端的情况下驱动多步骤流程。它解决的是候选方案在部署前的筛选问题，尤其是人工端到端测试覆盖不足、线上实验又会带来客户暴露风险的场景。论文报告的结果来自 Nubank 的 Card Delivery 与 Card Management 两个智能体，以及 4 个已部署版本和超过 16,000 场模拟对话，因此其结论建立在特定业务与特定评估方式之上。模拟与生产之间的高相关性是这套流程有效性的支撑，但线上 A/B 测试仍然是确认最终效果的手段。对于希望扩大探索范围又不想让客户承担失败风险的团队，这套流程提供了一条把探索与验证分开的路径。
为什么值得看
提供不暴露真实客户即可大规模验证智能体工作流的方案，实现自服务率与净推荐值双提升，对受监管行业极具参考价值。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。