JOVE框架优化LLM任务图执行与验证，降本提速超3倍
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
针对复杂推理任务分解至异构LLM时子任务适配度未知且输出难判正确性的痛点，JOVE框架提出联合分配执行模型与选择中间输出进行付费验证的在线机制。验证异步运行并反馈以优化后续分配，系统通过求解混合整数线性规划来决策，在线学习更新模型质量估计并引入信息增益奖励。在长期预算与单次查询延迟约束下，该框架在四个推理基准上保持竞争力准确率的同时，将平均成本与延迟降低至少3.17倍。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载异构LLM任务图执行痛点
复杂推理查询可被拆解为有向无环任务图，并分发至异构大语言模型以借助并行机制降低延迟，使小模型也能处理复杂任务。然而实际应用中，特定大语言模型对某子任务的适配度往往预先未知，且仅靠执行无法判断输出正确性，这给高效可靠的分布式推理带来挑战。
联合执行与验证机制设计
JOVE框架提出将执行模型分配与中间输出付费验证选择相联合的在线机制。验证过程异步运行，其反馈用于改善未来的资源分配。系统需在当前执行花费与为后续学习积累信息之间取得平衡。在长期预算与单次查询延迟约束下，面对随机且初始未知的大语言模型服务质量、调用成本和执行时间，JOVE通过求解一系列单次查询的混合整数线性规划来制定决策。
在线学习与实验效果
该框架的在线学习模块基于验证反馈更新任务依赖的大语言模型质量估计，同时引入信息增益奖励，将学习价值纳入分配决策中。在自然假设下，JOVE被证明具有次线性的质量学习遗憾。在四个推理基准测试的实验评估中，JOVE相较于标准推理基线取得了具竞争力的准确率，同时将平均成本与延迟均降低了至少3.17倍。
为什么值得看
解决异构LLM协作时模型选择与输出验证难题，在保精度的前提下大幅降本提速，对构建高效LLM调度系统具参考价值。
基准测试
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。