新框架DMA实现因子图近似推断，免迭代且无负精度消息
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
Ralf Herbrich等14位作者提出因子图近似推断框架DMA，直接逼近因子到变量消息而非边缘分布。对可归一化因子定义一致性条件，证明主定理将边缘KL散度由消息KL散度界定，推论确保无EP式内循环迭代与无负精度消息。针对乘积因子固有的非正常反向消息，给出O(1/r²)保证。基于此推导乘积与leaky-ReLU因子的显式DMA消息，构建贝叶斯神经网络推断算法：每训练样本仅需一次前向/反向扫描且无梯度学习率超参，验证了预测不确定性在数据稀疏区及模型失配下会变宽。论文提交ICLR 2027。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载DMA框架核心机制
传统概率推断算法EP与VMP在因子图上通过近似边缘分布运作，强制迭代调度，易产生负精度消息，且VMP在Dirac-delta因子处会退化为点估计。新提出的DMA框架改变思路，直接近似因子至变量的消息。对于可归一化因子，DMA定义一致性条件（当其余输入消息均为Dirac delta时要求精确），以此指导消息构建。该框架证明了一项主定理：在消息正常且任意图结构下，边缘KL散度由消息KL散度界定。由此得出三个结构推论：满足Dirac输入一致性、无需EP式内循环迭代、杜绝负精度消息。
非正常消息处理与BNN应用
针对乘积因子固有的非正常反向消息，以往工作难以进行闭式处理，DMA为其补充证明了O(1/r²)的保证。作为具体实例，作者推导了乘积因子与leaky-ReLU因子的显式DMA消息，并组装出一种贝叶斯神经网络推断算法。该算法对每个训练样本仅执行一次前向与反向扫描，且无需梯度学习率超参数。实验验证表明，这些结构性保证转化为实际效果：在数据稀疏区域及模型失配情况下，预测不确定性会相应变宽。
为什么值得看
DMA解决了EP与VMP的迭代、负精度及退化为点估计问题，为BNN推断提供无需调学习率的新路径。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。