LangSmith 推出 AI Search,用自然语言按行为检索 agent…

产品AI 评分 78/100LangChain:Blog(RSS)待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT

LangSmith 上线 AI Search,用户可用自然语言描述想找的行为,系统返回发生过该行为的轨迹。它面向的是标签、元数据或全文检索难以覆盖的问题,例如是否泄露 PII、用户是否表现出沮丧。做法上,LangSmith 用轨迹对 trace 做归一化,减少上下文膨胀,再由一个快速决策模型读取轨迹并返回命中结果。该功能建立在为 trace 数据专门设计的 SmithDB 以及此前的 Custom Apps 之上,可搜索轨迹内容中出现的任意行为。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

按行为而非字段检索

LangSmith 新增的 AI Search 把查询方式从字段匹配改成行为描述。用户用日常语言写出想找的情形,系统返回确实发生过该情形的轨迹。材料给出的例子是“用户是否变得沮丧”和“是否泄露了 PII”。这类问题无法干净地映射到标签或元数据等单一 trace 属性上,全文检索同样答不了,因为它们要求理解轨迹内容本身。在此之前,团队要么提前配置一个评估器,要么人工逐条翻看轨迹。AI Search 让这类查找可以临时发起,用于在大量轨迹中找针尖式样本,或排查有问题的模式。

轨迹归一化与快速决策模型

实现上,LangSmith 借助 trajectories 对 trace 做归一化,以此压缩上下文规模,再让一个快速决策模型读取轨迹,返回命中的那些。材料强调 agent 轨迹体量大、多模态且信息密集,包含用户输入、agent 如何回应以及逻辑失败等关键细节,这使它们对理解用户行为和改善 agent 表现有独特价值。但传统数据平台并非为这种大规模非结构化载荷而建。要让轨迹数据可用,团队需要能覆盖完整生命周期的基础设施:摄入并存储高吞吐的 run、灵活查询轨迹,并把它们转成用于调试、产品分析和标注等运营流程的视图。

建立在 SmithDB 与 Custo…

AI Search 并非孤立功能,它接在 LangSmith 已有的两项能力之后。其一是 SmithDB,材料称这是为 LangSmith 中 trace 数据专门打造的数据库;其二是较近推出的 Custom Apps,让团队在轨迹之上创建定制视图。AI Search 补上的是查询入口这一环,使自然语言成为访问轨迹内容的方式。可搜索的范围是轨迹内容中出现的任何东西,材料列举的场景包括 agent 声称完成任务但实际没有完成。对使用 LangSmith 的团队来说,这影响的是从轨迹中挖掘评测数据集样本、为标注队列挑选对话等日常动作的效率。

为什么值得看

agent 轨迹检索从关键词转向按行为语义查找,直接影响调试、评测集挖掘与标注流程。

信源1 家

  1. [1]LangChain:Blog(RSS)线索来自 AIHOTLangSmith 推出 AI Search,用自然语言按行为搜索 agent 轨迹

关键事实

  • AI Search 允许用户用自然语言描述行为,返回发生过该行为的轨迹[1]

  • 示例查询包括用户是否沮丧、是否泄露 PII[1]

  • LangSmith 用轨迹归一化 trace,以减少上下文膨胀并加快查询返回[1]

  • 该功能建立在为 trace 数据构建的 SmithDB 和此前的 Custom Apps 之上[1]

  • 此前要回答这类问题需预先设置评估器或人工翻查轨迹[1]

相关 · 产品

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。