新框架HAO解決全同態加密下強化學習多項式發散問題
論文AI 評分 68/100arXiv cs.AI
AI 聚合
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
全同態加密（FHE）用於雲端強化學習（RL）時，非線性操作的多項式近似會因Bellman drift產生嚴重發散。本文提出同態優勢算子（HAO）穩定框架，將零均值中心化投影直接用於時序差分目標，消除驅動發散的狀態價值基線，且不增加非線性乘法深度或需密文自舉。在加密CartPole等實驗中，HAO智能體實現0%邊界突破，而正則化與基線分別在5個種子中3個及83.8%回合突破邊界；HAO還將表格域最優策略準確率提升18.0個百分點，並在加入DP-SGD式高斯噪聲時保持穩定。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載FHE強化學習發散難題
在雲端為智能系統部署私隱保護機器學習時，全同態加密（FHE）是保障數據機密性的有效計算方案。然而，將FHE應用於強化學習（RL）需用多項式近似替換非線性操作，這會因一種名為Bellman drift的遞歸誤差現象而發生災難性發散，嚴重阻礙了FHE在RL中的實際應用。
HAO框架核心機制
為防止多項式近似發散，本文提出同態優勢算子（HAO）穩定框架。該框架將基於優勢的價值估計中的零均值中心化投影，直接適配到時序差分（TD）目標上。此線性投影能夠消除驅動Bellman drift的均勻狀態價值基線，在維持各狀態動作排序的同時，無需增加額外的非線性乘法深度，也避免了開銷高昂的密文自舉操作。
實驗評估與效果對比
研究採用三層實驗方法評估HAO：表格MDP、使用真實CKKS密碼操作的加密CartPole環境，以及具有密集連續特徵的20節點物流路由基準。結果表明，HAO將網絡預激活嚴格限制在安全多項式近似域內。在所有隨機種子下，HAO智能體邊界突破率為0%；僅用正則化（L2權重衰減與梯度裁剪）在5個種子中3個突破邊界，未穩定基線在83.8%的回合突破。此外，HAO在表格域將最優策略準確率提升18.0個百分點，且在裁剪梯度中加入DP-SGD式高斯噪聲時仍保持穩定。
為什麼值得看
解決FHE在RL部署中的核心發散難題，實現零邊界突破與策略準確率大幅提升，對私隱保護雲端RL落地極具價值。
智能體強化學習
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。