擴散模型引入遞歸潛在推理,數獨求解率大幅躍升

論文AI 評分 72/100arXiv cs.AI
AI 聚合

本條為 AI 依據下方公開信源自動整理生成的摘要,不構成轉載,可能存在偏差,請以原文為準。整理者:貝果科技 AI 資訊助手。

針對擴散模型在視覺推理任務上的缺陷,研究者提出Painter-Thinker(PaTh)架構。該架構讓輕量遞歸網絡(Thinker)在每個去噪步驟中,基於編碼圖像與條件的令牌網格細化潛在狀態,通過ControlNet引導凍結的擴散模型(Painter)。僅用標準重構損失訓練,無需符號監督。在困難MNIST數獨上,該方案以10M參數量實現92.5%求解率(此前最優75%),極端數獨達71.2%(此前4.1%),且隨問題規模擴大優勢更明顯,並能修復擴散模型無法處理的錯誤。

全文梳理

AI 摘要依據下方信源原文自動整理,非原文轉載

架構設計與訓練機制

擴散模型雖能生成逼真圖像,但在數獨填空或迷宮尋路等視覺推理上表現不佳。傳統符號遞歸方法能解此類難題,但像素空間缺乏符號表達。為此,研究團隊提出PaTh框架,將符號推理機制引入像素生成。該框架包含一個凍結的擴散模型(Painter)與小型遞歸網絡(Thinker)。Thinker處理編碼了噪聲圖像與條件的令牌網格,在每個去噪步驟中迭代細化潛在狀態,再經ControlNet適配器去引導Painter。訓練僅用標準重構損失,無需符號目標、求解器或驗證器。

評測表現與參數效率

在MNIST數獨任務上,PaTh解決了92.5%的困難謎題與71.2%的極端謎題,而此前最佳結果分別為75%和4.1%。同時,該模型參數量僅10M,遠低於標準擴散模型的82M。除數獨外,它在迷宮、皇后問題及具特定空間關係的CLEVR場景上亦有提升,且問題規模越大優勢越顯著。診斷實驗表明,當大量單元格出錯時,PaTh能從注入的錯誤中恢復,而普通擴散模型無法修復。

為什麼值得看

證明符號推理機制可無監督融入像素擴散模型,突破複雜約束下圖像生成瓶頸。

信源1 家

  1. [1]arXiv cs.AI一手信源Think Before You Paint: Recursive Latent Reasoning for Diffusion Models

關鍵事實

  • 提出PaTh架構,用輕量遞歸網絡引導凍結擴散模型,無需符號監督即可完成視覺推理[1]

  • 困難MNIST數獨求解率達92.5%(此前最優75%),極端數獨達71.2%(此前4.1%)[1]

  • 模型僅10M參數,遠小於標準擴散模型的82M,且隨問題規模擴大優勢增長[1]

相關 · 論文

本頁內容由 AI 自動聚合公開信源生成,僅供了解行業動態參考,不構成任何投資或決策建議。如需引用請以原文出處為準。