PACE框架优化检索增强对话首字响应延迟
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
PACE框架针对检索增强对话服务，将感知首字响应时间作为优化目标。该框架通过负载自适应级联路由、联合路径填充控制器及波动感知缓存准入机制，在保证质量的前提下降低延迟。在7.5万条CarQA请求测试中，级联路由将纯LLM的P95延迟从0.53秒降至0.29秒。自适应控制器在高负载下使P95延迟达0.41秒，优于RAG方案2.4倍。填充控制器减少94%调用且零冲突，波动感知准入将陈旧回答比例从86%降至0%。
为什么值得看
提出量化填充回答冲突风险的方法，显著降低RAG服务延迟与陈旧率。
RAG
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。