Numan 用 LangGraph 与 LangSmith 构建评测优先的 A…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载受监管场景的边界约束
Numan 面向体重、激素和性健康等长期状况提供数字健康服务，许多患者处于体重管理项目中并每日使用应用记录进展。Nu 作为其 AI 健康教练，核心设计难点在于既要给出高质量的健康指导，又不能跨入医疗诊断、处方开具或临床决策的范围。在高度监管的医疗领域，这些是 Agent 必须守住的硬边界。团队最初的注意力放在 Agent 本身及其周边自动化上，但实践下来，真正决定成败的是评测标准的质量。
单轮评测为何不够用
团队从常见做法起步：准备输入与期望输出的数据集，由 LLM 判分模型对每条回复打分。这套方法适合问答型 Agent，但教练是对话而非答案。单轮评测在静态样本上运行，行为层面的教练工作很少存在唯一正确答案，一条回复是否安全还取决于前后对话。Nu 需要先弄清患者在整段对话中卡在哪里，再给出建议，并在患者施压时守住边界。此外，把整个数据集压缩成一个平均分，会隐藏失败发生的具体位置，少数糟糕回复几乎不改变总分，对话看起来合规而实际并非如此。
评测规则自身的误判
静态样本还带来另一类问题。在一次运行中，一组集中的低分最终被确认是评测本身的问题，而非 Nu 的表现问题。评分规则要求共情、探索与建议全部在两轮交流内出现，而人类教练会把这些分散在整段对话中逐步展开。Nu 的教练方式其实是恰当的，是狭窄固定的评测设置错误地标记了失败。这促使团队寻找替代方案：为单轮样本写死患者预期回复序列，形成脚本化多轮对话，逐轮喂给 Nu，最后让判分模型对完整对话记录打分。
为什么值得看
面向受监管医疗场景的 AI 产品如何设计评测标准，单轮评测为何失效，对做 Agent 评测的团队有直接参考价值。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。