DiSCo框架评估大模型文化偏好偏差

信源1 家

1. [1]arXiv cs.AI一手信源DiSCo: A Distribution-First Steering and Cultural Prior Evaluation Framework for Measuring Cultural Preference Bias in LLMs

关键事实

• DiSCo框架采用分布优先的强制选择评估，通过四级上下文梯度测试模型可引导性。[1]

• 测试使用DiSCo-Bench数据集，包含源自BLEnD的304个条目，覆盖12种文化。[1]

• 6个受测模型的默认偏好高度集中，英美文化合计吸收约35%的选择。[1]

• 提示引导加剧了高低资源文化间的选择差距，注入文化事实对分布影响微弱。[1]

相关 · 论文