COMPASS 提出智能体式 LLM 路由方法,无需专项训练
论文AI 评分 72/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
研究者提出 COMPASS,一种智能体式路由方案:由 LLM 按路由配方执行,借助工具收集性能与成本证据,并可在选模型前查看候选答案。在 LLMRouterBench 上,它以 139.57 美元达到 69.85% 准确率,对比 RLCascadeRouter 的 69.14%、180.22 美元;在 DeepSWE 五折交叉验证下,它以 215 美元达到 78.1%,对比最佳单模型的 74.1%、500 美元。该方法无需路由专项训练,可通过读取新的评测记录适配扩充后的模型池,权重与提示不变。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载路由思路的差异
现有 LLM 路由多依赖专门训练的路由器,模型或任务一变就要重新调整。COMPASS 把路由交给一个通用 LLM 执行:它按给定的路由配方行动,调用工具去查候选模型在相关任务上的表现与调用价格,把这些证据汇总后再决定选谁。作者还给出一个可选项——在最终选择前先看各候选模型给出的答案,再据此判断。整个过程不涉及针对路由任务的训练,路由能力来自模型本身的推理与工具使用。
两个基准上的数字
在 LLMRouterBench 上,COMPASS 取得 69.85% 的准确率,总花费 139.57 美元;作为对比的 RLCascadeRouter 准确率为 69.14%,花费 180.22 美元。在 DeepSWE 上采用固定五折交叉验证,COMPASS 达到 78.1%,花费 215 美元;表现最好的单个模型为 74.1%,花费 500 美元。两组结果都显示准确率更高的同时模型调用成本更低,对照对象分别是专门化路由器和单一模型方案。
模型池变化时的适配
论文强调 COMPASS 支持跨基准路由,并且在模型池扩充后,只需读取新增的评测记录即可继续工作,路由器自身的权重和提示都不需要改动。这一点针对的是路由方案随模型迭代而失效的问题:新模型加入时,传统做法往往要重新收集数据并再训练,而这里把适配成本转移到可读取的评测记录上。
为什么值得看
路由不再依赖专项训练,靠工具取证即可跨基准迁移,并随模型池扩充自动适配,对降低多模型调用成本有直接参考。
智能体论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
