arXiv 论文提出弱监督框架，从微信方言消息构建电力俚语词典
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从方言锚点生成候选
这项研究面向电网客服场景，关注社交平台上用户用地方口语描述停电、账单和设备故障的现象。这类文本存在形态不规范、语义漂移以及词表外表达等问题，人工整理词表成本较高，常规自然语言处理工具的效果也会下降。作者提出的做法是弱监督框架：以人工挑选的方言锚点和电力领域种子词为起点，用点互信息生成候选词，并在生成过程中采用软标签双向锚定。软标签的作用是把“是否带方言特征”和“与电力领域的相关程度”分开记录，前者决定候选是否保留，后者作为单独的元数据保存，而不是在筛选阶段就用电力的强条件把候选卡掉。候选生成之后，再用 Sentence-BERT 的语义相似度与基于 jieba 的词感度量共同打分，对候选做进一步排序。
主动学习挑选标注对象
在打分之后，框架引入不确定性感知的主动学习，用规则型判定和检索增强的大语言模型作为标注来源，并在三种查询策略下挑选需要标注的候选。这样做的目的是把人工或模型判定的精力集中在模型最不确定的词上，而不是均匀地过一遍全部候选。最终词表由能力更强的大语言模型评估，并以人工专家标注为基准做校准，校准程度用 Cohen's κ 衡量。整个流程在云南玉溪的 11,177 条真实微信消息上运行，评估方给出的方言精确率 DP 为 1.0，没有出现误判。
软标签与强门控的差别
消融实验对比了软标签分层与严格电力门控两种做法。在精确率相同的前提下，软标签分层保留的候选数量明显更多，候选池从 41 个词扩展到 349 个词。这说明如果在候选生成阶段就要求词必须同时满足电力相关性，会过早丢弃大量带有方言特征、但电力关联较弱的表达；把这些关联信息降级为元数据保存，可以在不牺牲精确率的情况下扩大后续筛选的空间。人工校准部分共有 46 个样本，得到方言维度的 κ 为 1.0，电力维度的 κ 为 0.85，表明评估模型与专家判断在方言判定上完全一致，在电力相关性上一致性略低。
词表规模与适用边界
最终形成的词表规模为 25 到 33 个词，其中 4 到 5 个与电力相关。作者将其定位为面向方言感知电网客服自然语言处理的初步资源，而非可直接上线的完整词典。从适用范围看，词表来自玉溪一地的微信消息，覆盖的是当地口语中描述供电服务问题的表达；从限制看，词表体量较小，电力相关词占比有限，评估依赖大语言模型并以小规模人工标注做校准，电力维度的一致性尚未达到方言维度的水平。对关注客服文本处理的读者而言，这项工作的价值在于给出了一套可复用的构建流程：方言锚点加领域种子词生成候选、软标签分离两类信息、主动学习降低标注负担，以及用人工校准的模型评估结果。
为什么值得看
展示用弱监督加主动学习从方言噪声文本中低成本构建领域词典的完整流程，含消融与人工校准数据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。