研究：多语言 LLM 评审中提示策略效果随评审模型反转
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载评测规模与数据来源
这项研究搭建了一个覆盖多语言场景的评测基准，用来观察提示策略与评审模型之间的相互影响。基准中纳入 9 种提示策略、4 个开放权重评审模型、27 种语言，以及跨 13 个数据集的 4 类任务。研究团队在带有标准参考答案的输出上生成了超过 100 万条逐点打分，并将这些打分与人工判断做了对照验证。这一规模的意义在于，此前关于提示敏感性的考察大多集中在英语环境，而多语言评审研究往往把提示模板固定下来，因此提示策略在不同评审模型、不同语言之间是否同样有效，一直缺少系统测量。该工作正是把提示策略、评审模型、语言和任务放在同一个框架里交叉比较，从而让策略效果与评审模型选择之间的关系可以被直接观察。
策略效果随评审翻转
研究给出的核心结论是提示策略不具备可迁移性。在多种评审模型之间，评审模型本身的选择对结果的影响超过了提示策略的选择；同一套提示策略在不同评审模型上产生的效果方向会发生反转，也就是说，在某个评审模型上表现为提升的做法，换到另一个评审模型上可能表现为下降。研究还发现，稳定性在低资源语言上出现退化，而这些退化在汇总报告的口径下会被掩盖，难以从整体数字中看出。由此，提示策略在多语言评测中的表现取决于评审模型、任务和语言三者的组合，而不是一个可以跨场景照搬的固定配置。
对评测实践的要求
基于上述结果，研究提出两点做法上的要求。其一，提示策略应当针对实际要使用的评测环境先行验证，而不能依据英语基准上的推荐直接套用；其二，跨研究的比较需要同时说明评审模型和提示配置，否则不同研究之间的结果差异可能来自配置不同而非方法本身。对使用评审模型做多语言评测的读者而言，这意味着在报告分数时需要交代清楚评审模型与提示模板的具体设置，并在目标语言上单独检查策略是否稳定，尤其是低资源语言上的表现不宜只看汇总指标。
为什么值得看
做多语言评测或搭建 LLM 评审流水线的人需要知道：英文基准上有效的提示技巧未必能迁移，选错评审模型可能让结论反向。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。