URA-NER框架提升低资源NER小模型性能
论文AI 评分 65/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要,不构成转载,可能存在偏差,请以原文为准。整理者:贝果科技 AI 资讯助手。
针对低资源命名实体识别中检索错位与生成不确定问题,URA-NER框架提出三项改进:渐进粒度检索分两阶段对齐跨度检测与类型分类;模型感知表示增强通过实体预识别对齐查询与示例的语义空间;推理感知知识验证构建生成-检索-验证闭环,用外部知识重组验证证据。实验表明该框架显著提升低资源下大模型表现,小模型增益尤为明显,在多项基准上达到SOTA。
全文梳理
AI 摘要依据下方信源原文自动整理,非原文转载低资源NER的检索与生成痛点
基于大语言模型的上下文学习是缓解命名实体识别标注数据不足的有效途径,但现有方法面临检索错位与生成不确定两大难题,导致表现高度依赖模型能力。当大语言模型参数规模缩减时,其在少样本设定下的性能会出现显著衰退,限制了小模型在低资源场景下的应用效果。
渐进检索与表示对齐机制
为解决检索错位,URA-NER提出渐进粒度检索与模型感知表示增强。渐进粒度检索采用两阶段机制实现阶段对齐:第一阶段依据查询全局语义检索用于跨度检测的示例,第二阶段依据特定实体上下文检索用于类型分类的示例,从而提供细粒度局部信息。模型感知表示增强则引入实体预识别来指导表示构建,确保查询与示例在大语言模型的语义空间及注意力模式中实现对齐。
闭环验证缓解生成不确定性
针对生成不确定性,该框架提出推理感知知识验证机制,构建生成-检索-验证闭环。该过程首先显化大语言模型的推理路径,随后利用这些路径检索外部知识,最后将知识重组为与原始推理路径对齐的验证证据。此闭环设计有效降低了模型生成的不确定性,提升了输出的可靠性。
实验效果与适用性
在多个低资源命名实体识别数据集上的广泛实验表明,URA-NER显著增强了大语言模型在低资源设定下的表现。尤其值得关注的是,较小参数规模的大语言模型通过该框架获得了更为突出的性能增益,并在多个基准测试上取得了新的最优结果。该论文已被IJCNN 2026及WCCI 2026接收。
为什么值得看
解决小参数LLM在少样本NER下性能骤降痛点,为低资源场景提供有效检索增强与推理验证方案。
大模型对齐数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成,仅供了解行业动态参考,不构成任何投资或决策建议。如需引用请以原文出处为准。
