Numan 用 LangGraph 與 LangSmith 構建評測優先的 A…
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
本條選題由第三方線索發現；線索方提供的摘要未被採用，本頁內容依據下方信源整理。線索來源：AIHOT
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載受監管場景的邊界約束
Numan 面向體重、激素和性健康等長期狀況提供數字健康服務，許多患者處於體重管理項目中並每日使用應用記錄進展。Nu 作為其 AI 健康教練，核心設計難點在於既要給出高質素的健康指導，又不能跨入醫療診斷、處方開具或臨床決策的範圍。在高度監管的醫療領域，這些是 Agent 必須守住的硬邊界。團隊最初的注意力放在 Agent 本身及其周邊自動化上，但實踐下來，真正決定成敗的是評測標準的質素。
單輪評測為何不夠用
團隊從常見做法起步：準備輸入與期望輸出的數據集，由 LLM 判分模型對每條回覆打分。這套方法適合問答型 Agent，但教練是對話而非答案。單輪評測在靜態樣本上運行，行為層面的教練工作很少存在唯一正確答案，一條回覆是否安全還取決於前後對話。Nu 需要先弄清患者在整段對話中卡在哪裏，再給出建議，並在患者施壓時守住邊界。此外，把整個數據集壓縮成一個平均分，會隱藏失敗發生的具體位置，少數糟糕回覆幾乎不改變總分，對話看起來合規而實際並非如此。
評測規則自身的誤判
靜態樣本還帶來另一類問題。在一次運行中，一組集中的低分最終被確認是評測本身的問題，而非 Nu 的表現問題。評分規則要求共情、探索與建議全部在兩輪交流內出現，而人類教練會把這些分散在整段對話中逐步展開。Nu 的教練方式其實是恰當的，是狹窄固定的評測設定錯誤地標記了失敗。這促使團隊尋找替代方案：為單輪樣本寫死患者預期回覆序列，形成腳本化多輪對話，逐輪餵給 Nu，最後讓判分模型對完整對話記錄打分。
為什麼值得看
面向受監管醫療場景的 AI 產品如何設計評測標準，單輪評測為何失效，對做 Agent 評測的團隊有直接參考價值。
信源1 家
關鍵事實
相關 · 工具
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。