擴散模型引入遞歸潛在推理,數獨求解率大幅躍升
論文AI 評分 72/100arXiv cs.AI
AI 聚合
本條為 AI 依據下方公開信源自動整理生成的摘要,不構成轉載,可能存在偏差,請以原文為準。整理者:貝果科技 AI 資訊助手。
針對擴散模型在視覺推理任務上的缺陷,研究者提出Painter-Thinker(PaTh)架構。該架構讓輕量遞歸網絡(Thinker)在每個去噪步驟中,基於編碼圖像與條件的令牌網格細化潛在狀態,通過ControlNet引導凍結的擴散模型(Painter)。僅用標準重構損失訓練,無需符號監督。在困難MNIST數獨上,該方案以10M參數量實現92.5%求解率(此前最優75%),極端數獨達71.2%(此前4.1%),且隨問題規模擴大優勢更明顯,並能修復擴散模型無法處理的錯誤。
全文梳理
AI 摘要依據下方信源原文自動整理,非原文轉載架構設計與訓練機制
擴散模型雖能生成逼真圖像,但在數獨填空或迷宮尋路等視覺推理上表現不佳。傳統符號遞歸方法能解此類難題,但像素空間缺乏符號表達。為此,研究團隊提出PaTh框架,將符號推理機制引入像素生成。該框架包含一個凍結的擴散模型(Painter)與小型遞歸網絡(Thinker)。Thinker處理編碼了噪聲圖像與條件的令牌網格,在每個去噪步驟中迭代細化潛在狀態,再經ControlNet適配器去引導Painter。訓練僅用標準重構損失,無需符號目標、求解器或驗證器。
評測表現與參數效率
在MNIST數獨任務上,PaTh解決了92.5%的困難謎題與71.2%的極端謎題,而此前最佳結果分別為75%和4.1%。同時,該模型參數量僅10M,遠低於標準擴散模型的82M。除數獨外,它在迷宮、皇后問題及具特定空間關係的CLEVR場景上亦有提升,且問題規模越大優勢越顯著。診斷實驗表明,當大量單元格出錯時,PaTh能從注入的錯誤中恢復,而普通擴散模型無法修復。
為什麼值得看
證明符號推理機制可無監督融入像素擴散模型,突破複雜約束下圖像生成瓶頸。
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成,僅供了解行業動態參考,不構成任何投資或決策建議。如需引用請以原文出處為準。
