ComFair 多属性交叉公平性基准发布，含 47.9 万条实例
论文AI 评分 72/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
研究团队提出 ComFair，一个可配置的多属性公平性基准，把已有公平性数据转换为 479,066 条受控的双属性与多属性实例，并为每条增强实例配对任务等价的原始样本。该基准覆盖识别、选择、续写、对话四类任务，可统一审计性能与偏见分数的变化、新增属性是否引入新错误或掩盖已有错误，以及模型排名的稳定性。在十个大模型上的实验显示，敏感性随任务和子群而异：判别式任务在总体变化不大时仍出现双向转变，生成式任务的偏移更大且方向不对称，模型排名也会随属性组合变化。该工作已被 EMNLP 2026 主会接收。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载单属性审计的盲区
现有大模型公平性评测大多一次只考察一个敏感属性。论文指出，这种范式会漏掉交叉性危害：多个属性之间的相互作用并非简单叠加，由此产生的失效在单属性边际评估下不可见。ComFair 的出发点是把这类交互纳入可控的审计流程，而不是只统计单个属性维度上的分数差异。
基准的构造与规模
ComFair 的做法是把已有公平性数据改造成受控实例，共生成 479,066 条双属性与多属性样本，并为每条增强实例保留一个任务等价的原始样本作为对照。这种配对设计让审计可以观察同一任务在加入属性后的变化，而不必依赖不同数据集之间的横向比较。基准覆盖识别、选择、续写、对话四类任务，可同时检查性能或偏见分数的偏移、新增属性带来新错误或掩盖原有错误的频率，以及模型排名是否稳定。
十个模型的实验发现
在十个大模型上的测试显示，敏感性因任务类型和子群而异。判别式任务即使总体指标变化有限，也会出现两个方向的转变；生成式任务的偏移幅度更大，且方向不对称；模型之间的排名同样会随属性组合改变。作者据此把 ComFair 定位为可扩展的受控敏感性审计工具，用于检验公平性基准结论在单属性设定之外是否依然成立，而非刻画身份的自然联合分布。该工作已被 EMNLP 2026 主会接收。
为什么值得看
单属性公平性审计可能漏掉多属性交叉产生的危害，该基准提供了可复用的受控审计方法与大规模实例。
大模型论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。