研究发布KOPA-Bench基准与EDGE数据合成方案
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载145个任务构成的基准
这项研究先做了一件此前缺失的事：建立一个能衡量开源模型在多步工具调用上差距的测试集。作者给出的 KOPA-Bench 由 145 个真实任务组成，任务场景是围绕韩国开放公共 API 展开的多步调用，也就是一次请求需要串起多个政府接口才能完成。论文指出，在需要连续调用多个工具的设定下，开源模型的表现一直偏弱，而此前没有基准去量化这个落差，KOPA-Bench 正是为填补这一空白而设计。基准之外，作者还提出了一套数据合成方法 EDGE，全称为 Execution-grounded Dynamic Graph for tool-calling data synthEsis，其核心是把真实执行结果作为合成数据的依据，而不是靠人工编写或模型凭空生成轨迹。两项产出合在一起，构成了从评测到训练数据的完整链条。
用真实调用筛出可用链路
EDGE 的做法可以拆成三步。第一步，先构建一张图，描述每个工具的输出如何成为另一个工具的输入，也就是把接口之间可能的衔接关系铺开。第二步，对图中每一条候选连接，实际向线上 API 发起调用进行验证，只保留那些真正调用成功的链路，失败或不通的连接被剔除。第三步，沿着这些经过验证的边进行遍历，合成出可执行的多步轨迹，作为训练样本。这样做的关键在于，合成数据里的每一步都对应一次真实发生过的成功调用，轨迹因此具备可执行性，而不是纸面上看起来合理、实际跑不通的流程。相比依赖静态描述来拼接调用序列的思路，这套方法把线上执行结果当作筛选条件，样本质量由真实响应来兜底。
9B模型逼近27B
作者用合成出的数据集对模型做 GRPO 微调，得到的是一个 9B 规模的模型。结果显示，这个经过微调的 9B 模型与同家族中未做微调的 27B 模型表现接近，参数量差距被大幅压缩。提升并不只出现在 KOPA-Bench 上，在 BFCL 基准上同样有明显改善，说明微调带来的能力变化并未局限于韩语公共 API 这一特定场景。论文给出的规模信息还包括：全文 30 页，含 7 幅图、26 张表，被 EMNLP 2026 Industry Track 接收，编号为 arXiv:2609.05395。这些数字勾勒出的是一项面向产业落地的完整工作，而非单点技巧。
适用范围与读者关切
从论文的描述看，这套方案面向的是需要在本地部署开源模型、并让模型跨多个线上政府接口串联调用的机构场景，其出发点是让较小参数量的模型也能承担多步调用任务，从而降低对超大模型的依赖。需要留意的是，基准与数据合成流程都建立在韩国开放公共 API 之上，任务语言与接口形态带有明确的场景属性；EDGE 的链路筛选依赖对线上接口的真实调用，因此合成数据的产出与接口的可用状态直接相关。对关注工具调用能力的读者而言，这项工作的价值在于提供了一套可复用的思路：先用真实执行验证工具之间的衔接，再据此生成训练轨迹，并用专门的基准去衡量多步场景下的实际差距。
为什么值得看
提供了评估多步API调用能力的新基准，并展示了通过数据合成提升小模型性能的有效路径。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。