DeepOpen 在 BANKING77 与 CLINC150 上发布意图分类…
论文AI 评分 58/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 DeepOpen，为 BANKING77 和 CLINC150 分别构建意图分类系统。在 BANKING77 上，单个英文分类器继续训练并采用锐度感知最小化（SAM），测试准确率为 94.1234%（2,899/3,080），这是三个固定 SAM 随机种子中最好的结果，三者均值为 94.0368%。在 CLINC150 的 150 个范围内类别上，将一个 Laya 专家模型与三个 DeBERTa-v3-large 分类器做概率融合，得到 98.0222%（4,411/4,500）。作者说明，在统一的 BANKING77 评测路径下，SAM 均值仅比历史检查点高 0.0433 个百分点，共享行 95% 区间为 [-0.2273, +0.3247]，因此这次继续训练并不能确立可靠的准确率提升。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载两套数据集各自的配置
DeepOpen 按数据集分别搭建系统，而不是用一个统一模型覆盖两个任务。BANKING77 一侧使用单个英文分类器，在原有基础上继续训练并引入锐度感知最小化（SAM）。CLINC150 一侧只处理 150 个范围内类别，做法是把一个 Laya 专家模型与三个 DeBERTa-v3-large 分类器的输出概率做融合。论文给出了两套配置的说明，并复现了配套评测浏览器中展示的参考对比结果。
分数与增益的区分
BANKING77 上报告的 94.1234% 是在三个固定 SAM 种子中挑选后展示的最好结果，三者均值为 94.0368%。作者把标题分数与关于提升的证据分开陈述：在统一评测路径下，SAM 均值相对历史检查点只高出 0.0433 个百分点，共享行 95% 区间跨零，落在 [-0.2273, +0.3247]。因此论文明确表示，这次继续训练不足以证明存在可靠的准确率提升。
论文自身的定位
作者将工作定位为对任务特定强表现的记录，同时指出选择效应与尚未解决的历史执行路径差异，而非提出新的骨干网络或统一的算法优势。这意味着读者看到的高分需要结合种子挑选方式和评测路径差异来理解，CLINC150 的融合结果同样属于特定类别范围与特定组合下的观测值。
为什么值得看
它把高分与真实增益分开讨论，并给出置信区间，为意图分类评测中的选择偏差提供参考。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。