LangChain 集成 ScaleDown 约束解码模型,为长时智能体压缩上…
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
本条选题由第三方线索发现;线索方提供的摘要未被采用,本页内容依据下方信源整理。线索来源:AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载集成做了什么
LangChain 上线 langchain-scaledown 集成,让开发者在智能体里直接调用 ScaleDown 的约束解码模型(CDM)。同时,ScaleDown 被纳入 LangSmith LLM Gateway,相关调用会被追踪,并计入使用者的花费与速率限制。集成面向 LangChain 与 Deep Agents,自带三个中间件,分别处理摘要旧历史、压缩大型工具结果、从对话中抽取结构化数据。这些中间件对应长时智能体运行中最常见的上下文管理动作。
CDM 与通用模型的差别
通用大模型逐 token 生成任意字符串,而 CDM 只针对一个任务训练,输出被限制在该任务允许的范围内,例如从给定标签中选一个,或返回输入中的片段。这种约束使模型可以做得更小、更快、更便宜。ScaleDown 给出的数据是:在这类窄任务上,其模型比前沿模型快 200 倍、便宜 467 倍。对需要频繁做上下文取舍的长时智能体来说,这类决策调用量大,速度和成本差异会被放大。
四个模型的分工
ScaleDown 提供四个各自只做一件事的模型。Summarize 为长文本生成简短摘要;Compress 把一段上下文裁剪到与问题相关的部分;Extract 按描述从文本中取出字段,并给出每个字段的置信度及其在原文中的位置;Classify 依据用户定义的标签为文本打分,返回每个标签的概率,并可选择是否附带自然语言理由。每个模型的输入上限为 1M token。
为什么值得看
长时智能体的上下文管理成本高,这套方案用专用小模型替代通用大模型做摘要、压缩与抽取,并给出明确的提速与降本倍数。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
