面壁智能开源MiniCPM-V 4.7,35B MoE模型可在手机断网运行

模型AI 评分 85/100量子位待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

面壁智能与OpenBMB开源MiniCPM-V 4.7,含35B-A3B和1B两个版本。35B-A3B是MiniCPM-V系列首个MoE模型,总参数35B、每次推理激活3B,约3G内存即可在iOS和安卓设备流畅运行,iPhone 17 Pro Max上解码速度每秒13个token以上。1B版实际参数1.3B,主打OCR、数学和视频理解。35B-A3B在MMBench得91.72、MMStar得80.67、MMMU得80.22、MathVista得88.00,OmniDocBench v1.6得94.24分,视觉压缩16倍后MMBench仅从91.72降至90.87。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

两个版本与端侧运行

MiniCPM-V 4.7由面壁智能和OpenBMB开源,提供35B-A3B和1B两种规格。35B-A3B总参数35B,每次推理只激活3B,是MiniCPM-V系列首个MoE模型,大约3G内存就能在iOS和安卓设备上流畅运行。1B版本实际参数1.3B,体积更小,主打OCR、数学和视频理解,在同尺寸模型中处于第一梯队。在iPhone 17 Pro Max上,35B-A3B的解码速度可达每秒13个token以上;同一张路边停车标志照片和同一个停车时间问题,未优化时速度约每秒2个token,优化后达到每秒8-12个token。断网状态下也能完成多模态推理。

基准测试与视觉压缩

35B-A3B在通用视觉上MMBench拿到91.72、MMStar是80.67;理科题方面MMMU和MathVista分别为80.22和88.00;视频理解Video-MME和LongVideoBench拿到76.40和68.90。OmniDocBench v1.6上35B-A3B得94.24分,另外四个模型都在80分上下,领先12分以上。纯文本能力上,中文知识CMMLU拿到90.21,工具调用τ2-Bench拿到84.65,均为表里最高。视觉压缩开到16倍后,MMBench只从91.72降到90.87,OCRBench从91.20降到90.40,省下来的算力几乎没有拿精度去换。

实际任务表现

在断网状态下,35B-A3B处理家庭用电调查表时,先把瓦换算成千瓦,再按功率乘以使用时长逐项计算:空调每月144度排第一,冰箱按年耗电280度折算每月约23.33度,六样电器合计约213.63度,折合64.09元,解释账单约50.9%,还差206.37度;三个省电方案中空调每天少开1小时最划算,每月省24度电、合7.2元。1B版本把一页论文转成Markdown,不到半分钟还原标题层级、段落和表格,公式写成LaTeX。在iPad M4上跑拿破仑远征图题目,同样给出1812年12月6日、零下37.5摄氏度。通过API测试超市小票记账,35B-A3B逐项列出商品并核对金额,得出78.40元与小票实付一致;复杂停车规则题五个问题全部答对。

为什么值得看

35B级多模态模型能在手机断网跑,且视觉压缩16倍精度几乎不降,端侧部署门槛被明显拉低。

MoE

信源1 家

  1. [1]量子位iPhone断网跑35B多模态!国产开源新模型,只占3G内存

关键事实

  • 面壁智能和OpenBMB正式开源MiniCPM-V 4.7,包含35B-A3B和1B两个版本[1]

  • 35B-A3B总参数35B,每次推理只激活3B,是MiniCPM-V系列第一个MoE模型,约3G内存即可在iOS、安卓设备流畅运行[1]

  • 35B-A3B在iPhone 17 Pro Max上解码速度每秒13个token以上,优化后从每秒2个token提升到每秒8-12个token[1]

  • 35B-A3B在OmniDocBench v1.6拿到94.24分,其他四个模型都在80分上下,领先12分以上[1]

  • 视觉压缩开到16倍后,MMBench从91.72降到90.87,OCRBench从91.20降到90.40[1]

相关 · 模型

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。