GALA方法将3D高斯虚拟人动画CPU耗时降三个数量级
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把神经解码换成线性混合
三维高斯头像在渲染速度上有优势，但实时驱动往往受制于逐帧的神经网络推理开销。这篇论文提出一个观察：已经训练好的头像模型，其动画结果可以近似写成一组与身份无关的 blendshape 的线性组合。基于这一点，作者给出名为 GALA 的蒸馏方法，用浅层的系数预测器加一次线性混合，替代原先每帧都要跑的重量级神经解码。方法本身不改变原有动画架构，也不需要重新训练原始模型，而是学习一个浅层 MLP 来输出 blendshape 系数。这样做的直接效果是把逐帧的推理负担转移到一次系数预测和一次线性运算上，为后续在算力受限设备上运行留出空间。
基底的构造与内存约束
为了让近似结果更接近原模型、同时压低显存占用，作者没有直接使用现成的基底，而是在渲染相关的度量下做分块的局部 PCA，并引入内存预算来构造这组基底。也就是说，基底的形状不是单纯按数据方差决定，而是把渲染误差和可用内存一起纳入考量。这一设计对应两个目标：一是保真度，让线性组合出来的动画尽量贴近原模型的输出；二是内存，避免基底本身过大而抵消掉蒸馏带来的收益。基底与身份无关，意味着同一组基可以服务不同的人脸或身体，这也是后文能泛化到未见身份的前提。
三类模型上的验证结果
作者用三个不同的头像模型来检验 GALA，覆盖面部表情动画以及带衣物动态的全身动画。结果显示，蒸馏后的方案能够泛化到训练时未出现的身份上，并且在保留大部分渲染质量的同时，把 CPU 上的动画开销最多降低三个数量级。帧率方面，在移动设备上可以达到最高 60fps。这些数字说明，原本依赖昂贵神经推理的实时动画，在换成浅层预测加线性混合之后，可以在手机这类终端上跑起来。对读者而言，这意味着已有的高斯头像资产不必推倒重来，只需外挂一个轻量预测器，就有机会在算力更弱的设备上获得可用的实时表现。
为什么值得看
使高保真3D虚拟人动画摆脱重度神经推理，实现移动端60fps实时运行。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。