QCATS框架实现查询感知Transformer切片，推理延迟最高降4.42倍
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载查询粒度上的切片路由
QCATS 把推理调度的单位从单个元组或词元提升到整条查询。传统库内推理只把元组级输入交给运行时，关系谓词和元数据统计对神经执行计划不可见。QCATS 反过来利用查询谓词与元数据统计，在模型执行之前预先挑出与上下文对齐的 FFN 切片，从而在数据库内部实现稀疏推理。整个框架由两部分组成：离线阶段的专家构建，以及执行期轻量的查询级路由，后者在运行时动态选择专家。这种设计意味着稀疏化的决策依据来自查询本身携带的约束条件，而不是逐条数据临时判断。
异步流水与路由感知批处理
除切片机制外，QCATS 还加入了两项系统层面的优化。其一是 CPU 与 GPU 之间的异步流水线，让两侧的工作重叠推进；其二是路由感知的批处理，使批次组织方式与专家选择结果相匹配。这两项优化针对的是稀疏推理在真实数据库管线中容易出现的等待与空转问题。论文在四个预测查询工作负载上做了实验，模型侧使用 BERT-base 与 Qwen-0.6B，结果显示延迟最多降低 4.42 倍，同时预测准确率与稠密基线相当。
适用边界与读者意义
QCATS 的适用范围限定在库内预测查询处理这一场景，即 Transformer 模型被嵌入关系型管线中执行的情形。它的前提是查询谓词和元数据统计能够被路由环节读取并用于预选切片，因此收益依赖于查询上下文是否足以区分不同专家。论文给出的对比对象是稠密基线，而非其他稀疏方案，读者可据此判断该方法在准确率不下降的前提下压缩延迟的幅度。对于在数据库内跑预测查询的工程实践者，这项工作的参考价值在于把稀疏化的决策点前移到查询规划阶段，并配套了流水线与批处理两处工程改动。
为什么值得看
为库内Transformer推理提供利用查询上下文跳过冗余计算的新路径，显著降延迟且不损精度。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。