PACE框架优化检索增强对话首字响应延迟
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把首响时延当作目标
PACE 是一套面向检索增强对话服务的框架，它把用户感知到的首次响应时间（PTFR）确立为体验质量指标，并在质量与成本的双重约束下尽量压低这一时间。与此前分别研究级联路由、语义缓存或自适应检索的做法不同，PACE 把两件事放在一起调度：由哪个答案来源来组织这次回复，以及等待窗口里用什么内容填补。该框架已部署在一套人形机器人销售服务中，由三个机制组成：随负载变化调整的级联路由器、把路径选择与填充内容联合起来的控制器，以及考虑内容波动性的缓存准入策略。
级联路由的时延收益
在 CarQA 请求上，级联方案把纯大模型路径的 PTFR 在 P95 上减少了一半，c16 条件下为 0.29 秒对 0.53 秒。自适应控制器在 P95 上达到 0.41 秒，在高负载下以同等质量取得相当于 RAG 的 2.4 倍表现。填充控制器把调用量削减了 94%，且没有出现冲突。波动性感知的准入把过期答案的占比从 86% 降到 0%。另有一条门控规则保证控制器不会比基线更差，其暴露时长被限制在一个保持周期之内。材料称这是首次对已部署服务中填充答案冲突风险做出量化。
与既有方案的差别
既有工作通常只处理单一环节：级联路由决定请求走哪条推理路径，语义缓存复用历史答案，自适应检索决定是否触发检索。PACE 的差异在于把答案来源的编排与等待窗口的填充纳入同一套控制逻辑，并以 PTFR 作为统一优化对象。三个机制各自承担一段职责：路由器按负载在路径间切换，联合控制器同时决定路径与填充，缓存准入则依据内容波动性判断是否接纳。门控规则为这套联合控制设定了兜底边界，使控制器在不利情形下退回基线水平，暴露时间不超过一个保持周期。
适用范围与边界
材料给出的验证场景是人形机器人销售服务，请求集为 CarQA，指标集中在 P95 的 PTFR 以及调用量、过期答案比例和冲突情况。质量与成本作为约束条件出现在目标函数中，高负载下的对比以同等质量为前提。填充控制器的 94% 调用削减伴随零冲突的结果，波动性感知准入则把过期答案从 86% 压到 0%。对读者而言，这套框架说明对话服务的响应体验可以拆成来源选择与等待填充两个可分别调节的环节，并用门控规则约束联合控制的风险；材料未涉及其他业务场景的部署数据。
为什么值得看
提出量化填充回答冲突风险的方法，显著降低RAG服务延迟与陈旧率。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。