扩散智能发布350亿参数扩散语言模型Clover-35B-A3B-Preview

模型AI 评分 82/100量子位待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

扩散智能推出扩散语言模型Clover-35B-A3B-Preview,采用MoE架构,总参数350亿,每个token激活约30亿参数,支持思考模式,参数规模从此前Dream 7B的70亿提升到350亿。在网页Agent评测WindTunnel的49个任务中各尝试3次,中位执行时间1.52秒,Jev+Mercury 2.5组合为3.21秒,成功率分别为98.6%和95.9%。工具使用评测τ³ Overall和BFCL-v4分别得65.3和67.9,SWE-bench Verified得73.6,Terminal-Bench 2.1得51.7。模型采用块扩散,块间依次推进、块内并行更新,并围绕块扩散重构门控Delta网络以管理历史上下文。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

块扩散的生成方式

Clover-35B-A3B-Preview 由扩散智能推出,是一款扩散语言模型。它采用 MoE 架构,总参数规模为 350 亿,但在生成每个 token 时只激活约 30 亿参数,因此实际参与计算的量远小于参数总量。在生成机制上,它使用块扩散:文本被划分为若干块,块与块之间依次推进,而同一块内部的内容则并行更新。这种安排让模型不必逐字串行输出,而是在一个块内同时确定多个位置的内容。团队在参数规模上也做了明显跨越,从此前 Dream 7B 的 70 亿参数提升到 350 亿。模型支持思考模式,调用方式与大语言模型接近,使用者可以按熟悉的方式提出任务,由模型在内部先进行一段思考再给出结果。

写代码与调用工具

在能力覆盖上,Clover 可以编写代码、生成网页、调用工具,也能直接产出 HTML。几个具体例子能说明它的节奏:生成一个太阳系模拟器时,思考环节约用 1 秒,从开始到完成总共耗时 4 到 5 秒;把一份简历整理成 LaTeX 代码,大约需要十来秒。除了单次生成,它还能经 WebMCP 连续处理开票、报名等六项任务,在线上购物场景中完成选款、加入购物车、填写信息到结账的整条流程。这些任务考验的不只是单步输出质量,还包括在多步操作中保持上下文、按顺序推进的能力,而块扩散的并行更新在块内为这类连续动作提供了不同于逐 token 生成的路径。

速度与成功率的对照

在 WindTunnel 的 49 个任务上,每个任务各尝试 3 次,Clover 的中位耗时是 1.52 秒;同一评测中,Jev 与 Mercury 2.5 的组合中位耗时为 3.21 秒。尝试成功率方面,Clover 为 98.6%,上述组合为 95.9%。在同一张表里,Clover 的速度比 Gemini 快数倍。这组数字的意义在于,它把扩散模型的速度优势放到了与既有方案相同的任务集合上比较,而不只是单点演示。中位数反映的是多数任务的典型表现,成功率则说明快并没有以大量失败为代价;两项指标同时占优,才构成对“快而可用”的支撑。

基准分数与适用边界

基准测试给出了另一组参照:τ³ Overall 得 65.3,BFCL-v4 得 67.9,SWE-bench Verified 得 73.6,Terminal-Bench 2.1 得 51.7。这些分数分别对应工具调用、函数调用、代码修复与终端操作等不同侧面,说明模型的能力分布并不均衡,终端类任务的分数明显低于代码修复类。对读者而言,Clover 的定位是一个可按大语言模型习惯调用、在块内并行生成、在短任务上响应较快的模型;它适合网页生成、代码整理、多步工具调用这类场景,而参数激活量小意味着单次推理的算力开销相对可控。需要留意的是,上述表现来自特定评测与演示任务,实际使用中的效果仍取决于任务类型与调用方式。

为什么值得看

扩散语言模型首次以350亿参数规模进入Agent与代码任务,并在速度与成功率上给出可对比的评测数据,值得关注生成范式的…

MoE

信源1 家

  1. [1]量子位刚刚,扩散模型杀进Agent主场!350亿参数,速度比Jev快一倍

关键事实

  • Clover-35B-A3B-Preview采用MoE架构,总参数350亿,每个token激活约30亿参数,支持思考模式。[1]

  • 团队此前的扩散语言模型Dream 7B为70亿参数,此次推进到350亿总参数规模。[1]

  • 在WindTunnel的49个任务中各尝试3次,Clover中位执行时间1.52秒,Jev+Mercury 2.5组合为3.21秒,成功率分别为98.6%和95.9%。[1]

  • Clover在τ³ Overall和BFCL-v4分别拿到65.3和67.9,SWE-bench Verified为73.6,Terminal-Bench 2.1为51.7。[1]

  • 模型采用块扩散,块与块依次推进、块内多位置并行更新,并围绕块扩散重构门控Delta网络处理历史上下文。[1]

相关 · 模型

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。