研究提出DeBERTa-v3零样本文本分类可解释性审计框架
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载用五个假设做零样本分类
这项工作把自然语言推理的思路搬到医学摘要分类上，构建了一个零样本分类流程。具体做法是围绕医学摘要语料库，为每一个诊断类别准备五条经过扩充的假设句，让模型判断摘要文本与哪条假设的蕴含关系成立，从而在不需要针对该任务重新训练的前提下完成归类。为了控制类别不均衡带来的干扰，每个类别都抽取了数量相同的文本，构成一个平衡样本，规模为一千篇。作者用这套设置去审计 DeBERTa-v3 在医学摘要上的表现，关注点并不只是准确率本身，而是模型在何种条件下可靠、在何种条件下失效。结果显示，在临床边界清晰的领域里，预测准确率维持在较高水平；一旦摘要的语义指向变得模糊，性能就出现下滑。这一对比说明，零样本路线在医学文本上的可用范围与文本本身的语义清晰度高度相关，而不是在所有诊断类别上表现一致。
五种归因方法如何对齐
针对可解释人工智能中长期存在的分歧问题，即同一输入与同一预测下不同归因方法给出的解释互相矛盾，作者选取了五类解释方法进行横向比较。其中 SHAP 与 LIME 属于与模型结构无关的通用方法，遮挡法与输入乘梯度属于面向深度学习的做法，注意力乘梯度则是针对 Transformer 结构设计的方法。为了让这些来源不同的解释能够被放在同一尺度上比较，作者把每种方法的输出统一转换为对关键 token 的归因，也就是只保留被判定为最重要的词元，再以 Jaccard 指数成对计算解释之间的一致程度。这种标准化加一致性度量的组合，使得不同方法之间的吻合度可以被量化，而不是停留在定性描述上。作者据此提出，在审计基于 Transformer 的医学文本分类模型时，应当把多种解释方法以及量化的吻合度指标结合起来使用，单一方法的解释不足以支撑判断。
解释稳定性随预测确定性变化
一个值得注意的观察是，解释的稳定性与预测的确定性呈现出同步变化的趋势。在那些语义单一、诊断指向明确的类别上，不同归因方法给出的关键 token 高度收敛，解释之间的一致性较强；而当模型面对诊断上的不确定性时，这种一致性明显下降，方法之间的分歧随之放大。也就是说，解释是否稳定本身就可以作为预测可靠程度的一个侧面信号。除定量比较之外，作者还做了定性的错误审计，归纳出三类反复出现的失效机制：一是对个别词汇的过度敏感，二是类别之间语义重叠导致的混淆，三是归因结果失去连贯性。这三类问题指向的是模型在医学文本上的具体薄弱环节。基于这些发现，作者建议在临床文本分类中优先考虑更细粒度的临床本体，而不是使用宽泛的诊断标签，因为后者容易造成语义边界不清，进而同时损害预测表现与解释质量。
为什么值得看
揭示医疗NLP中多解释方法分歧机制，为审计Transformer模型提供量化一致性与组合评估方案。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。