研究提出SpeechLLMs判别式适应方法
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载把生成式读法换成分类读法
语音大模型在情绪识别任务上已有不错的表现，但常见做法是让生成式解码器直接吐出情绪标签。论文指出，这种读法本身并不适合分类：解码器可能输出目标集合之外的标签，也就是所谓的幻觉，同时会偏向训练中出现频率较高的类别。作者提出的改法是，取提示词最后一个 token 的隐藏状态，接上一个分类头，在一次前向计算中给出标签，并且不改动主干模型。由于这个读出起点正是模型原本要拿去解码的那个隐藏状态，生成式与判别式两种推理路径可以在同一个语音大模型上做受控对比，其他条件保持一致。
单层线性头换来可解释性
分类头被刻意保持为单层线性结构。作者的说法是，这样做用很小的准确率代价换取可解释性：每一种情绪在语言模型的输出 token 空间里对应一个方向，沿着这个方向可以观察它与哪些 token 关联更紧密。换句话说，情绪不再只是一个从解码器里采样出来的词，而是变成了 token 空间中的一条向量。分析还显示，这些情绪方向携带的是间接关联，其形态与网络规模文本中存在的偏向相呼应。这一观察针对的是模型内部表征，不涉及对训练数据来源的进一步判断。
IEMOCAP 上的增益与边界
实验在 IEMOCAP 数据集上展开，覆盖两种语音大模型架构。结果显示，改用判别式读出后 Macro F1 提升，幻觉输出被消除；增益最明显的情形是贴近真实场景的 ASR 转写文本。这说明当输入带有识别噪声、不再是干净转写时，分类式读出的稳定性优势更突出。需要留意的是，材料给出的评测范围限于该数据集与这两种架构，方法本身也不修改主干，因此它是在既有语音大模型之上加一层轻量读出，而非重新训练模型。对使用这类模型做情绪识别的读者来说，这意味着可以在不动主干权重的前提下替换输出环节，同时获得一个可检查的 token 方向视图。
为什么值得看
在不改变模型结构的前提下，显著提升了语音大模型在情感识别上的准确性与可控性。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。