注册

新方法ETD从自由能视角检测大模型预训练数据

论文AI 评分 62/100arXiv cs.AI待复核
AI 聚合

本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。

检测大模型预训练数据时，仅依赖预测损失易将高泛化非成员误判为成员。新方法ETD引入基于预测熵的倾斜边界校正损失，降低成员信号方差。该熵调整分数具备亥姆霍兹自由能释义，从宏观残余自由能转移视角检测。实验显示ETD平均AUROC最高提升3.5%，TPR@5%FPR最高提升5.1%，且在各场景下保持鲁棒。

全文梳理

AI 摘要依据下方信源原文自动整理，非原文转载

似然判据的偏差

在预测损失与预测熵构成的空间里，仅凭似然来判断一段文本是否属于预训练数据，会遇到一个根本性的混淆：模型对某段文本给出高似然，既可能因为它确实在训练中出现过，也可能只是因为它本身容易被泛化预测。论文指出，这种只依赖似然的检测器在空间中划出的是一条水平边界，于是那些可预测但并非成员的非成员样本会被误判为成员。为应对这一偏差，作者提出改用一条倾斜的边界，把预测损失放在预测熵的参照下来衡量，而不是单独看损失的高低。

熵校正与方差

论文的分析表明，对熵做校正之后，成员信号在期望意义上仍能保留，但其方差会下降，从而使成员与非成员之间的标准化区分度变好。作者进一步把均值—方差分析推广到平均熵差不等于零的更一般情形，说明这一思路并不局限于某种理想设定。值得注意的是，经过熵调整后的分数可以对应到亥姆霍兹自由能的解释，作者据此提出能量转移检测方法，把预训练数据检测放到宏观残余自由能转移的视角下看待。

实验表现与适用

在大量实验中，能量转移检测取得了最好的平均检测性能，其平均 AUROC 与 TPR@5%FPR 相比对照方案均有提升，并且在多种设置下保持稳健。论文给出的提升幅度以百分比形式报告，具体数值需回到原文核对。就适用范围而言，该方法处理的是成员与非成员的判别问题，其出发点是似然判据在可预测非成员上的失误；对读者来说，这意味着判断一段文本是否进入过训练数据时，单看模型给它的概率并不充分，把预测熵纳入考量可以降低这类误判。

为什么值得看

提供更准的大模型预训练数据检测法，解决高泛化样本易被误判难题，指标提升显著。

大模型

信源1 家

  1. [1]arXiv cs.AI一手信源Detecting Pretraining Data in Large Language Models from a Free-Energy Perspective

关键事实

  • 检测大模型预训练数据时，仅看预测损失易把高泛化非成员错判为成员。[1]

  • ETD方法引入倾斜边界，结合预测熵校正预测损失，降低成员信号方差。[1]

  • 该方法的熵调整分数具有亥姆霍兹自由能释义，从宏观残余自由能转移视角检测。[1]

  • 实验表明ETD的AUROC最高提升3.5%，TPR@5%FPR最高提升5.1%。[1]

相关 · 论文

360图龙锋以99.4%漏洞复现成功率登顶CyberGym榜单

11月6日 周五·AI 78

SwarmEvolve：数百个低成本智能体在潜空间协作完成进化搜索

11月6日 周五·AI 78

论文提出 Scientist World：把每篇论文变成可执行研究环境

11月6日 周五·AI 78

XStack 基准发布：评测智能体把 PyTorch 仓库迁移到 JAX/TPU

11月6日 周五·AI 72

本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。

去论坛讨论