VISH-ASR:免训练热词预选框架,用 CTC 后验验证候选

论文AI 评分 68/100arXiv cs.AI
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。

一篇 arXiv 论文提出 VISH,把上下文 ASR 的热词预选做成对帧级 CTC 后验的约束搜索,无需训练即可插拔使用。M-VISH 用帧同步共享前缀 Viterbi 搜索加有界 top-K 剪枝,让大词表验证可扩展;Bi-MVISH 再引入反向证据。在五个基准上,M-VISH 的 Best-F1 比强学习检索基线最高绝对提升 11.7%,2000 候选时搜索延迟相比基于假设的过滤降低 75.2%。

全文梳理

AI 摘要依据下方信源原文自动整理,非原文转载

要解决的问题

基于提示的上下文 ASR 需要从规模庞大且动态变化的词表中挑出一个紧凑的热词子集,但现有预选方法有两条路径:一是依赖离散 ASR 假设,这可能丢掉声学证据;二是单独训练检索模型。论文把预选重新表述为受约束的后验搜索问题,候选词是否入选取决于它在帧级 CTC 后验上能否得到逐帧的声学支持,而不是看最终文本假设里有没有出现。这一框架不需要额外训练,可以直接接入现有流程。作者为 Xiaoyu Gu、Yu Xi、Chencheng Wang、Zonghan Zhou、Haoyu Li、Jing Peng、Kai Yu。

两个可扩展变体

直接对每个候选做后验验证在词表很大时开销过高,论文给出 M-VISH:采用帧同步的共享前缀 Viterbi 搜索,让多个候选共用前缀计算路径,并配合有界 top-K 剪枝控制搜索宽度,从而把大词表验证变得可扩展。在此基础上,Bi-MVISH 进一步利用反向证据做互补验证,以提升判断的稳健性。两者都保持免训练属性,属于即插即用的预选环节。

实测收益

论文在五个基准上做了评测。M-VISH 的 Best-F1 相对强学习检索基线最高取得 11.7% 的绝对提升;在 2000 个候选的规模下,候选搜索延迟相对基于假设的过滤方式下降 75.2%。这两项结果分别对应准确率与效率:后验级验证既能挑得更准,也能在候选量大时维持可接受的搜索开销,且不需要为预选额外训练模型。

为什么值得看

热词预选直接影响上下文 ASR 的准确率与延迟,这里给出了免训练、可插拔且带量化收益的做法。

论文

信源1 家

  1. [1]arXiv cs.AI一手信源VISH-ASR: Viterbi-Guided Selection of Hotwords for Speech-LLM Contextual ASR

关键事实

  • VISH 是免训练、可插拔框架,直接在帧级 CTC 后验上验证候选词是否获得声学支持[1]

  • M-VISH 通过帧同步共享前缀 Viterbi 搜索与有界 top-K 剪枝,使大词表验证可扩展[1]

  • Bi-MVISH 利用反向证据做更稳健的验证[1]

  • 在五个基准上,M-VISH 的 Best-F1 相比强学习检索基线最高绝对提升 11.7%[1]

  • 2000 候选规模下,候选搜索延迟相比基于假设的过滤降低 75.2%[1]

相关 · 论文

本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。