注册

PlantVLM-Edge 把量化视觉语言模型部署到 Jetson 边缘设备

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

这篇论文提出 PlantVLM-Edge，一个可完全在资源受限边缘设备上运行的量化视觉语言框架，用于对话式作物健康诊断。它结合农业领域适配、训练后量化和设备端服务，提供离线聊天界面，种植者无需联网即可提问并获得诊断、症状解释与管理建议。框架不绑定特定骨干模型，作者用 Qwen3-VL-2B 和 LLaVA-1.5-7B 两种规模与架构不同的模型、四种量化方案、植物病害与虫害两个诊断领域做了验证，全部变体部署在 NVIDIA Jetson AGX Orin 上。8 位量化对答案质量影响很小；4 位 AWQ 在两个领域保留 98.6% 的全精度答案质量，同时把 2B 骨干的权重内存减少 49%。最紧凑形态需 2.01 GiB 权重内存，首 token 约 0.12 秒，64 token 诊断回复 0.78 秒完成。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

框架组成与使用方式

PlantVLM-Edge 面向的是作物健康诊断中专家知识不易获得的问题。它把三部分组合起来：针对农业领域的适配、训练后量化，以及带离线聊天界面的设备端服务。种植者可以像对话一样提出开放式问题，系统返回诊断结论、症状解释和管理建议，整个过程不依赖云端连接。论文强调框架不绑定特定骨干模型，因此同一套流程可以套用到不同规模和架构的视觉语言模型上，这也是后续多模型验证的前提。

验证设置与量化结果

作者选取了两种类型不同的视觉语言模型作为骨干：Qwen3-VL-2B 与 LLaVA-1.5-7B，覆盖不同参数量级与架构。量化方面测试了四种方案，诊断领域分为植物病害和虫害两类，所有变体都部署在 NVIDIA Jetson AGX Orin 上运行。结果显示，8 位量化相比全精度模型对答案质量的影响很小；4 位激活感知权重量化（AWQ）在两个领域都能保留 98.6% 的全精度答案质量，同时把 2B 骨干的权重内存降低 49%。这组对比说明低位宽量化在质量与内存之间可以取得可用的平衡。

最紧凑形态的资源占用

在压缩程度最高的配置下，PlantVLM-Edge 的权重内存为 2.01 GiB，生成首个 token 约需 0.12 秒，完成一条 64 token 的诊断回复耗时 0.78 秒。论文据此认为，及时且准确的作物健康诊断在边缘设备上是可行的，可作为下一代作物监测与决策支持系统的基础。对关注端侧多模态部署的读者，这些内存与延迟数字比单纯的精度指标更能说明实际可用性。

为什么值得看

给出了量化视觉语言模型在边缘设备上落地的具体内存、延迟与质量保留数据，对端侧多模态部署有参考价值。

Qwen量化论文

信源1 家

  1. [1]arXiv cs.AI一手信源PlantVLM-Edge: Quantized Vision-Language Models for On-Device Crop Health Diagnosis

关键事实

  • 框架用 Qwen3-VL-2B 和 LLaVA-1.5-7B 两种视觉语言模型、四种量化方案、植物病害与虫害两个领域做验证，全部部署在 NVIDIA Jetson AGX Orin 上[1]

  • 4 位 AWQ 在两个诊断领域保留 98.6% 的全精度答案质量，并把 2B 骨干的权重内存减少 49%[1]

  • 8 位量化相对全精度模型对答案质量影响很小[1]

  • 最紧凑形态需 2.01 GiB 权重内存，首 token 约 0.12 秒，64 token 诊断回复 0.78 秒[1]

  • 系统提供离线聊天界面，种植者可提出开放式问题并获得诊断、症状解释与管理建议，无需云连接[1]

相关 · 论文

Axiom Math 融资 16 亿美元，为 AI 数学构建可验证基础

11月6日 周五·AI 72

BEAKER：面向自动驾驶化学实验室的具身智能基准发布

11月5日 周四·AI 68

FrontierPhysics 基准发布：56 项任务考察智能体端到端物理研究

11月5日 周四·AI 78

HALO 人形机器人系统：仿真训练实现零样本真机迁移，成功率 91%

11月5日 周四·AI 82

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论