OpenRouter实测：Jev 1.13分类准确率略逊Claude Opus…
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
本条选题由第三方线索发现；线索方提供的摘要未被采用，本页内容依据下方信源整理。线索来源：AIHOT
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载两类模型的定位差异
Jev 是 TypeSafe 推出的 System One 决策模型，调用方式与聊天接口不同：输入一个应用状态对象和一个带类型的问题，返回带类型的答案、置信度以及每个候选选项的概率，对应 Decisions API 的响应结构。TypeSafe 的说法是，在分类这类任务上，可以用这种小型的判断模型替代前沿聊天模型，从而在成本和延迟上获得明显下降。OpenRouter 的测试正是围绕这一说法展开：牺牲多少准确率，换来多少速度和费用优势。对比对象是 Claude Opus 5，选取依据是截至 2026 年 9 月 22 日 OpenRouter 排名页 Task spend 板块中，用户在分类任务上支出最多的模型。
三千条语料的对照结果
测试使用 Banking77 的完整测试集，共 3,080 条客服语句，每个意图 40 条，两个模型拿到相同的每个意图一句话描述。结果显示，Jev 1.13 的准确率为 81.0%，置信区间 79.6 到 82.3；Opus 为 84.4%，区间 83.1 到 85.6，前者落后 3.3 个百分点。宏平均 F1 上，Jev 为 80.5%，Opus 为 83.6%。两者都没有出现格式错误的响应，3,080 条里无效响应均为 0，所有错误都是标签判断错误，而不是解析失败。延迟方面，Jev 的 p50 为 175 毫秒、p95 为 270 毫秒、p99 为 353 毫秒；Opus 对应为 2,266 毫秒、3,004 毫秒和 3,835 毫秒，中位延迟相差约 13 倍。
成本结构与计费差距
整轮跑完，Jev 计费 0.34 美元，Opus 为 7.44 美元；折算到每千次请求，分别是 0.11 美元和 2.42 美元，约为 1/22。token 结构也能解释部分差距：Jev 平均输入 2,605 个 token、输出 826 个；Opus 平均输入 3,750 个 token，其中 3,725 个命中缓存，输出仅 17 个。也就是说，两者在输出长度上的取向完全不同，Jev 的输出包含逐选项概率，Opus 则给出简短标签。置信区间由 3,080 个样本做 95% bootstrap 计算得到。
适用边界与选型含义
Banking77 的语句偏短，中位长度为九个词，但部分意图彼此接近，例如 card_arrival 与 card_delivery_estimate，仅靠少量关键词无法区分，这使任务对语义判断有一定要求。对读者而言，这组数据给出的取舍是：在意图分类场景中，用 Jev 这类判断模型可以换来十几倍的中位速度提升和二十多倍的费用下降，代价是三个百分点左右的准确率。是否接受这一交换，取决于业务对错分标签的容忍度以及请求量级；材料未覆盖分类之外的任务，也未给出其他数据集上的表现。
为什么值得看
量化展示小模型在分类任务上替代昂贵大模型的性价比边界，为开发者降本增效提供实测依据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。