研究用语言模型读取权重审计临床决策网络
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载研究要解决的问题
放疗领域的机器学习模型通常靠已知答案的病例测试来验收，但这类测试未必能暴露测试集与训练数据共有的捷径。研究关注的是：前沿语言模型已被报告能读写小型神经网络的原始权重，这种能力被称为权重空间编程；那么，只给一份临床协议和网络权重，模型能否完成审计与修复。实验网络规模很小，参数量在 433 到 4,801 之间，任务是按四条规则筛查头颈放疗计划申请。缺陷不是事后注入权重，而是通过训练数据植入，包括掩盖每条规则的混杂因素、把 cord 阈值偏移 3 Gy，以及一个隐藏触发器。
审计与修复的结果
Claude Opus 5.5 在盲审条件下工作，不使用工具、不接触数据、不执行代码。它给出的每条判断和每项修复都在约 42 万条请求上接受检验。在 18 个带缺陷的网络中，模型点名了 16 个出错规则，置信区间为 67% 到 97%，其中包含全部 15 个带混杂因素或阈值偏移的网络。对这 16 个网络，它通过改动中位数 3 个参数完成修复。作为对照，用协议标注的请求做微调同样修复了每个网络，但几乎改动了全部参数，两者在改动幅度上差别明显。
局限与替代检测
模型并非全能：面对 5 个健康网络，它在未被强制的情况下主动放行了 2 个；3 个隐藏触发器中只找到 1 个。研究发现，它找到的每个混杂因素和阈值偏移都能在单个单元中显现，针对每类缺陷选一个简单统计量也能发现同样的缺陷。直接对照协议测试能检出全部缺陷，黑盒测试发现混杂因素和阈值偏移的速度更快。作者据此判断，在小网络上，权重空间编程可以定位并修复让某个输入失效或使阈值偏移的缺陷，但还无法证明一个网络是正确的。
为什么值得看
展示语言模型直接读写权重做模型审计的可行边界：能定位阈值偏移与输入被压制类缺陷，但尚不能证明网络正确。
信源1 家
关键事实
相关 · 论文
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。