arXiv 论文提出 SeqoFlow,联合适配语义查询计划与调度

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文针对 LLM 语义查询服务中的运行时动态性问题提出 SeqoFlow 框架。这类查询把关系型处理与多个基于 LLM 的算子结合起来,运行时的动态性体现在两个相互耦合的层面:不同查询之间,查询到达时间和资源需求不断变化,导致调度优先级持续调整;单个查询内部,细粒度输入批次之间的差异使算子代价和选择率在执行过程中波动,静态优化出的计划因此不可靠。这两层动态性形成循环依赖:查询间调度需要估计剩余的 LLM 工作量,而剩余工作量又取决于运行时的计划选择,其代价只有在执行时才能观察到。SeqoFlow 在算子依赖关系下枚举保持等价性的计划备选方案,并把查询拆成细粒度单元,从而支持在批次边界安全地调整计划、抢占查询;它还用轻量推测式估计来捕捉运行时代价,无需在目标 LLM 上穷举评测候选计划,这些估计同时指导计划适配与查询间调度。实验显示,在不同查询结构、数据分布和到达率下,S…

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

问题出在哪

论文关注的是由 LLM 驱动的语义查询:这类查询把关系型处理与多个基于 LLM 的算子组合起来,作用于非结构化数据。它的服务难点在于运行时动态性出现在两个相互耦合的层面。跨查询层面,查询到达时间和资源需求持续变化,调度优先级因此不断被改写。查询内部层面,细粒度输入批次之间特性不一,算子代价与选择率在执行过程中起伏,使静态优化得到的计划不再可靠。两层动态性彼此牵制:查询间调度要预估剩余 LLM 工作量,而剩余工作量又取决于运行时选定的计划,这些计划的代价只有执行时才可见,形成循环依赖。

SeqoFlow 怎么做

针对上述循环依赖,作者提出运行时框架 SeqoFlow,让查询计划与并发查询调度一起自适应。它在算子依赖关系约束下枚举保持等价性的计划备选方案,并把查询拆解为细粒度单元,从而在批次边界上安全地切换计划、抢占查询。为了让计划适配和调度这两个决策都不必在目标 LLM 上穷举评测候选计划,SeqoFlow 采用轻量推测式估计来获取运行时代价,这些估计同时服务于计划调整与查询间调度,把查询优化与 LLM 推理串成一个闭环。

实验与结论

论文在多种查询结构、数据分布和到达率条件下开展实验,结果显示 SeqoFlow 的端到端延迟明显低于现有语义查询系统、自适应查询处理技术以及常规调度策略。论文归类于 cs.DB 与 cs.AI,提交时间为 2026 年 11 月 3 日,编号 arXiv:2611.04248。摘要未披露具体延迟降幅、测试所用模型或数据集规模,这些细节需查阅原文。

为什么值得看

语义查询服务的调度与计划优化是 LLM 应用落地的工程瓶颈,该工作给出了联合优化的具体思路。

安全论文

信源1 家

  1. [1]arXiv cs.AI一手信源Navigating Runtime Dynamism in Semantic Query Serving

关键事实

  • 论文提出 SeqoFlow 运行时框架,联合适配查询计划与并发语义查询的调度[1]

  • 运行时动态性来自查询间到达与资源需求变化、查询内批次差异两个耦合层面[1]

  • 框架在算子依赖下枚举保持等价性的计划备选,并在批次边界支持计划调整与查询抢占[1]

  • 采用轻量推测式估计捕捉运行时代价,避免在目标 LLM 上穷举评测候选计划[1]

  • 实验覆盖多种查询结构、数据分布与到达率,端到端延迟低于现有语义查询系统与常规调度策略[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。