研究团队自动生成6575个带意外副作用的训练数据集
论文AI 评分 78/100arXiv cs.AI待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出自动发现「带意外副作用的训练数据集」（DSSE）的方法。作者为数据集设定三个目标：能诱发目标行为、读起来像普通后训练数据、让人类审阅者感到意外，并用 LLM 评判器把这三个目标转化为可计算的指标，再通过进化、强化学习和潜意识学习搜索高分数据集，最后用留出指标重新打分过滤。流程在 8 种行为上产出 6575 个 DSSE，其中不少能跨模型家族和规模泛化。作者称自动指标与机器学习研究者的判断一致，且前沿模型在预测副作用上优于人类。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载从零散个案到批量生成
此前关于训练数据意外副作用的认识，依赖数十个孤立案例，这些案例要么由人工构造，要么在偶然中被发现，难以系统研究。论文把这类数据称为 DSSE，并提出用自动化流程批量寻找。作者为 DSSE 设定三条标准：数据要能诱发某个目标行为；读起来要像普通的后训练数据，而不是刻意构造的异常样本；同时要让读到数据的人类审阅者感到意外。三条标准分别交给 LLM 评判器打分，使「意外程度」这类主观属性变成可搜索的数值目标。
搜索与筛选流程
在打分标准确定后，作者用进化、强化学习和潜意识学习三类方法在数据空间中搜索高分样本。搜索结果并非直接采用，而是经过留出指标重新打分与过滤，以降低对评判器本身的过拟合。最终流程在 8 种行为上得到 6575 个 DSSE。作者报告，其中不少数据集的效果能跨模型家族和模型规模泛化，说明副作用并非只对单一模型成立。
指标有效性与人类对比
论文还检验了自动化指标本身是否可信：作者发现这些指标与机器学习研究者的判断走向一致。另一项结果是，在预测训练数据会带来何种副作用时，前沿模型的表现超过人类。作者将这批数据定位为研究泛化现象的测试平台，并希望为在模型部署前预测训练副作用打下基础；数据集已通过链接公开。
为什么值得看
训练数据的意外泛化效应此前只有零散个案，这里给出了可批量生成、可复用的测试集。
强化学习论文数据集
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。