研究者发布方言阿拉伯语数学推理基准 DAR-MGSM
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载首个方言阿拉伯语数学基准
这项研究把数学推理评测扩展到低资源语言中的方言阿拉伯语，提出了名为 DAR-MGSM 的基准，材料称其为第一个针对方言阿拉伯语数学推理、由人工整理构建的评测集。它的题目形式是数学应用题，解题需要经过多个推理步骤，而不是单步计算。覆盖范围包括五种主要阿拉伯语方言，同时把现代标准阿拉伯语也纳入其中，便于在同一套题目下观察不同语言变体之间的差别。此前数学推理评测较少触及这一语言群体，该基准填补的正是这块空白。
平行版本与本地化改写
DAR-MGSM 设置了两个彼此平行的版本。一个是仅做翻译的版本，另一个在翻译之外还做了文化本地化，把题目中的实体和指代替换为对应地区的说法。两个版本对应同一批数学应用题，因此差异只来自语言表达与文化语境的调整。这种设计让评测能够把“翻译”与“本地化”两个因素分开观察，而不是混在一起比较。材料没有给出题目总量等规模数字，只说明了题型与版本结构。
本地化后成绩普遍下滑
研究者在 DAR-MGSM 上评测了多个以阿拉伯语为中心以及多语言的大语言模型。结果显示，模型在本地化版本上的表现总体不如仅翻译版本，说明把题目改写为贴近当地文化的表达会带来额外难度。不过这一影响的大小因模型而异，以阿拉伯语为中心的模型对本地化的敏感程度并不一致，有的变化明显，有的相对平稳。换言之，同一道题在两种版本下的得分差距，并不能用统一幅度来描述。
内部推理路径并不相同
除了准确率，研究还做了机制可解释性分析。分析发现，同一道数学应用题的翻译版本与本地化版本，往往会让模型走出不同的内部推理轨迹，即使两者的总体正确率看起来接近。这意味着仅看最终得分可能掩盖模型处理语言变体与文化语境时的差异。材料由此给出的结论是：数学推理表现同时受语言变体和文化语境影响，两者都需要纳入评测考量。
为什么值得看
低资源语言的数学推理评测长期缺位，这份基准把方言与文化本地化拆开考察，并给出模型内部推理差异的证据。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。