QCATS框架實現查詢感知Transformer切片，推理延遲最高降4.42倍
本條為 AI 依據下方公開信源自動整理生成的摘要，不構成轉載，可能存在偏差，請以原文為準。整理者：貝果科技 AI 資訊助手。
全文梳理
AI 摘要依據下方信源原文自動整理，非原文轉載查詢粒度上的切片路由
QCATS 把推理調度的單位從單個元組或詞元提升到整條查詢。傳統庫內推理只把元組級輸入交給運行時，關係謂詞和元數據統計對神經執行計劃不可見。QCATS 反過來利用查詢謂詞與元數據統計，在模型執行之前預先挑出與上下文對齊的 FFN 切片，從而在數據庫內部實現稀疏推理。整個框架由兩部分組成：離線階段的專家構建，以及執行期輕量的查詢級路由，後者在運行時動態選擇專家。這種設計意味着稀疏化的決策依據來自查詢本身攜帶的約束條件，而不是逐條數據臨時判斷。
異步流水與路由感知批處理
除切片機制外，QCATS 還加入了兩項系統層面的優化。其一是 CPU 與 GPU 之間的異步流水線，讓兩側的工作重疊推進；其二是路由感知的批處理，使批次組織方式與專家選擇結果相匹配。這兩項優化針對的是稀疏推理在真實數據庫管線中容易出現的等待與空轉問題。論文在四個預測查詢工作負載上做了實驗，模型側使用 BERT-base 與 Qwen-0.6B，結果顯示延遲最多降低 4.42 倍，同時預測準確率與稠密基線相當。
適用邊界與讀者意義
QCATS 的適用範圍限定在庫內預測查詢處理這一場景，即 Transformer 模型被嵌入關係型管線中執行的情形。它的前提是查詢謂詞和元數據統計能夠被路由環節讀取並用於預選切片，因此收益依賴於查詢上下文是否足以區分不同專家。論文給出的對比對象是稠密基線，而非其他稀疏方案，讀者可據此判斷該方法在準確率不下降的前提下壓縮延遲的幅度。對於在數據庫內跑預測查詢的工程實踐者，這項工作的參考價值在於把稀疏化的決策點前移到查詢規劃階段，並配套了流水線與批處理兩處工程改動。
為什麼值得看
為庫內Transformer推理提供利用查詢上下文跳過冗餘計算的新路徑，顯著降延遲且不損精度。
信源1 家
關鍵事實
相關 · 論文
本頁內容由 AI 自動聚合公開信源生成，僅供了解行業動態參考，不構成任何投資或決策建議。如需引用請以原文出處為準。