LangChain 集成 ScaleDown 约束解码模型,为长时智能体压缩上…

工具AI 评分 78/100LangChain:Blog(RSS)待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT

LangChain 推出 langchain-scaledown 集成,并让 ScaleDown 的约束解码模型(CDM)接入 LangSmith LLM Gateway,调用可被追踪并计入用量与速率限制。CDM 针对单一任务训练,只返回该任务允许的答案,因此比通用大模型更小、更快、更省。ScaleDown 称其模型在这类窄任务上比前沿模型快 200 倍、便宜 467 倍。集成自带三个中间件,分别用于摘要旧历史、压缩大型工具结果、从对话中抽取结构化数据,适用于 LangChain 与 Deep Agents。ScaleDown 共四个模型:Summarize、Compress、Extract、Classify,每个模型输入上限为 1M token。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

集成做了什么

LangChain 上线 langchain-scaledown 集成,让开发者在智能体里直接调用 ScaleDown 的约束解码模型(CDM)。同时,ScaleDown 被纳入 LangSmith LLM Gateway,相关调用会被追踪,并计入使用者的花费与速率限制。集成面向 LangChain 与 Deep Agents,自带三个中间件,分别处理摘要旧历史、压缩大型工具结果、从对话中抽取结构化数据。这些中间件对应长时智能体运行中最常见的上下文管理动作。

CDM 与通用模型的差别

通用大模型逐 token 生成任意字符串,而 CDM 只针对一个任务训练,输出被限制在该任务允许的范围内,例如从给定标签中选一个,或返回输入中的片段。这种约束使模型可以做得更小、更快、更便宜。ScaleDown 给出的数据是:在这类窄任务上,其模型比前沿模型快 200 倍、便宜 467 倍。对需要频繁做上下文取舍的长时智能体来说,这类决策调用量大,速度和成本差异会被放大。

四个模型的分工

ScaleDown 提供四个各自只做一件事的模型。Summarize 为长文本生成简短摘要;Compress 把一段上下文裁剪到与问题相关的部分;Extract 按描述从文本中取出字段,并给出每个字段的置信度及其在原文中的位置;Classify 依据用户定义的标签为文本打分,返回每个标签的概率,并可选择是否附带自然语言理由。每个模型的输入上限为 1M token。

为什么值得看

长时智能体的上下文管理成本高,这套方案用专用小模型替代通用大模型做摘要、压缩与抽取,并给出明确的提速与降本倍数。

大模型智能体

信源1 家

  1. [1]LangChain:Blog(RSS)线索来自 AIHOTLangChain 发布 langchain-scaledown 集成,用 ScaleDown 约束解码模型管理长时智能体上下文

关键事实

  • LangChain 发布 langchain-scaledown 集成,支持在智能体中使用 ScaleDown 模型。[1]

  • 集成自带三个中间件:摘要旧历史、压缩大型工具结果、抽取结构化数据。[1]

  • ScaleDown 称其模型在窄任务上比前沿模型快 200 倍、便宜 467 倍。[1]

  • ScaleDown 有四个模型:Summarize、Compress、Extract、Classify,每个输入上限 1M token。[1]

  • ScaleDown 已在 LangSmith LLM Gateway 中受支持,调用会被追踪并计入用量与速率限制。[1]

相关 · 工具

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。