新基准CIBuzzBench评估大模型中英跨语言网络热词理解
论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
Yifan Wang等研究者提出CIBuzzBench，首个针对中文网络热词中英跨语言理解能力的评测基准。该数据集包含3001个中文热词，配有英文释义、对应词、类别及危害性标注。基于此设计了释义、跨语言等价匹配与危害检测三项任务。对当前领先闭源及中文大模型的测试表明，模型在非字面意解释、选项干扰下的匹配及危害校准方面仍存显著短板，凸显多语言大模型处理文化承载语言现象的持续挑战。数据与代码已公开。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载基准构建与标注维度
为探究大模型能否将中文网络热词蕴含的本土文化知识跨语言迁移并准确传达英文含义，Yifan Wang等研究者构建了CIBuzzBench。该数据集收录了3001个中文网络热词，并为每个词提供了四类标注：英文含义解释、英文等价表达、类别标签以及危害性标签。这种多维度的标注设计，使得该基准不仅能评估语义对齐，还能检验模型对隐含文化背景的敏感度，特别是针对通过谐音、委婉语或暗码掩盖攻击性的有害表达的安全识别能力。
评测任务与模型表现
基于上述标注，研究团队设计了三项评测任务：含义解释、跨语言等价匹配以及基于文化的危害性检测。研究者在中英文提示设定下，对当前具有代表性的先进闭源及中文开源大模型进行了系统评估。结果显示，大模型在中文网络热词的跨语言理解上依然面临显著困难，具体表现为：细粒度非字面含义的解释能力不足、在选项扰动下难以稳健地进行等价匹配，以及危害性检测的校准能力欠佳。这表明多语言大模型在处理深植于文化的语言现象及安全导向评测时，仍存在持续挑战。
为什么值得看
揭示大模型跨语言文化理解与安全检测短板，提供3001词专项基准，对做出海或内容安全的AI从业者有直接参考价值。
大模型数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。