中文竞技辩论数据集与基准发布，大模型胜方预测最高仅66%
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载辩题数据如何采集
这份数据集面向中文竞技辩论，采集方式是在真实比赛现场同步记录。组织方共安排了182场比赛，并招募120名专业评委，每场由三位评委各自依据同一份评分规则独立打分。剔除记录不完整的场次后，最终保留148场比赛，切分为2698个环节与20542个交锋单元，转写文本和分段均经过人工核验。数据中保留了原始环节得分、比赛胜负投票、最佳辩手选票以及评委给出的裁决理由，这些内容来自比赛进行时而非事后补写。
三个评测任务怎么设
基准把模型需要完成的工作拆成三项：判断比赛胜负倾向、预测单个环节的得分、预测最佳辩手归属。三项任务分别对应比赛、环节、辩手三个层级，考察的是模型能否跟上论点在交锋中如何演变。评测采用零样本方式，多个大模型直接上手，不经过针对该数据的训练。结果显示，胜负预测的最高准确率为66.2%，模型给出的环节得分与人类评委平均评分之间的最高皮尔逊相关系数为0.250，最佳辩手预测的最高准确率为56.8%。
与既有数据的差别
已有辩论类数据大多只提供辩论文本，或者只给出最终胜负标签，很少把细粒度转写与真实赛场上按统一规则收集的专业评判放在一起。这份数据的特殊之处在于，评判来自比赛现场的三位评委独立打分，并且保留了环节分数、胜负票、最佳辩手票和裁决理由四类记录，使模型输出可以与多位评委的判断逐项对照。它也提供了从整场到环节再到单次交锋的多层切分，便于观察论证在互动中如何推进，而不只是看一段静态陈词。
数字说明了什么
66.2%的胜负准确率、0.250的环节得分相关系数、56.8%的最佳辩手准确率，都是在零样本条件下取得的最高值，说明当前模型对中文竞技辩论的理解仍与专业评委存在明显距离，尤其在需要细粒度打分的环节预测上一致性偏弱。这套数据与基准的用途是提供一个可复现的试验环境，用来研究模型对互动式论证的把握程度，以及它的判断与专业评委的一致程度。论文共25页，含2幅图，属于计算与语言及人工智能方向。
为什么值得看
揭示大模型在复杂交互论辩理解上与人类专业裁判的显著差距，提供专属中文辩论评测基准。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。