TARGRS：推理阶段去毒框架，毒性最高降 69.38%
论文AI 评分 68/100arXiv cs.AI
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇 arXiv 论文提出 TARGRS，一种在推理阶段对 LLM 做去毒的框架。它针对现有表征引导方法干预静态、粗糙、对毒性生成与非毒性生成之间的过渡建模不足的问题，在隐表征空间学习奖励引导：探索阶段沿毒性方向逐步施加引导，构造从非毒到有毒的轨迹，把稀疏标注转成 token 级奖励模型的密集监督；推理阶段反向由粗到细采样，先定位进入非毒区域所需的干预，再挑选扰动最小的去毒表征。在 10 个 LLM 与 RealToxicityPrompts、BOLD、AttaQ 上，TARGRS 优于现有基线，RealToxicityPrompts 上毒性最多降 69.38%，速度接近原模型且核心能力基本保持；在语言解码器空间干预使其可扩展到 LVLM，3 个代表性 LVLM 上毒性最多降 64.23%。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载方法要解决的问题
论文指出，LLM 仍可能生成有毒内容，因此在测试阶段做去毒是有必要的。已有的表征引导方法多采用静态或粗糙的干预，对有毒生成与非毒生成之间的过渡刻画不足，给出的引导不够精确。TARGRS 的切入点是把去毒看成隐表征空间中的一次方向性转移，而不是一次性、固定强度的修改，从而让干预强度与位置随生成过程变化。
训练与推理的两个阶段
探索阶段，方法沿毒性方向逐步施加引导，构造从非毒状态走向有毒状态的轨迹；轨迹上的毒性分数把原本稀疏的标注转成密集的、列表式的监督信号，用于训练一个感知过渡的 token 级奖励模型。推理阶段则朝相反的非毒方向做由粗到细的采样：粗采样先判断需要多大干预才能进入非毒区域，细化步骤再在候选里挑出扰动最小的去毒表征，以尽量少改原表征。
评测结果与适用范围
实验覆盖 10 个 LLM，数据集为 RealToxicityPrompts、BOLD 和 AttaQ，TARGRS 在这些设置上一致优于现有最优基线，其中 RealToxicityPrompts 上毒性最多下降 69.38%。运行速度接近原始 LLM，核心能力受到的影响很小。由于干预发生在语言解码器空间，方法也能用于大型视觉语言模型，在 3 个代表性 LVLM 上毒性最多降低 64.23%。
为什么值得看
给出推理期去毒的具体做法与量化幅度，并覆盖多模态模型，关注对齐与安全落地的读者可看。
论文
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。