FoldQuantVLA实现视觉语言动作模型W4A4量化，端侧推理提速超1.3倍
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载量化贯穿校准与执行
FoldQuantVLA 是一个训练后量化框架，其核心思路是让激活值的表示在三个环节中保持同一套形式：校准阶段、权值取整阶段，以及最终的整数运算执行阶段。为了做到这一点，方法把通道缩放与块 Hadamard 变换结合起来，并叠加按 token 动态进行的量化。整个流程不需要对策略做再训练，也就是说，已经训练好的视觉-语言-动作模型可以直接进入这一量化管线。在落地层面，作者编写了定制的 TensorRT 插件，让语言主干和迭代式动作专家中的投影运算都以四比特权重与四比特激活运行，目标硬件是 Ada 架构 GPU 与 Jetson AGX Orin。
四比特下的实测加速
评测覆盖 LIBERO、SimplerEnv 以及两个机器人平台。在三个 GR00T 检查点与 π0.5 上，W4A4 配置相对浮点 TensorRT 取得加速：在 Orin 上为 1.20 至 1.33 倍，在桌面端为 1.25 至 1.52 倍。这些倍数来自同一批检查点在两种精度路径下的对照，说明低比特带来的收益在嵌入式与桌面两类算力上都存在，而不是只在单一设备上成立。
混合精度保住动作保真度
纯四比特并非唯一选择。作者把语言部分的注意力输出投影与前馈下投影保留在八比特，即这两处走 W8A8，其余仍为四比特。这一混合配置在全部四个检查点上都提升了留出集上的动作保真度，说明少数敏感层对精度更挑剔，把它们留在较高位宽比整体压到四比特更稳妥。代价方面，在 Orin 上测得的额外延迟为 1 毫秒，属于可接受的范围。
真机任务上的表现
在四个真实机器人任务上，上述混合精度配置把观察到的 GR00T N1.7 成功率从统一 W4A4 的水平提升到更高水平，每种配置各跑 80 次试验。这说明量化方案的选择会直接反映在机器人行为的成败上，而不只是离线指标的变化。对关注端侧部署的读者而言，这项工作的意义在于：在不重训策略的前提下，用四比特权重与激活压缩推理开销，同时通过少量八比特层守住动作质量，并给出了在 Orin 与桌面 GPU 上的可复现插件实现。
为什么值得看
解决VLA模型端侧部署的延迟与精度痛点，提供无需重训的W4A4量化方案并给出精度与速度的最佳平衡点。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。