研究探讨开放模型风险与收益，防篡改技术尚不成熟
观点AI 评分 62/100MIT Technology Review待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
一篇预印本论文指出，当前让模型抵抗重新训练、防止安全训练被轻易移除的方法，都无法抵御所有篡改攻击。论文第一作者、AI 医学影像公司 Deep Breathe 的工程师 Saad Hossain 认为，该领域研究活跃，未来技术有望更有效。文章同时讨论开放模型的收益：公开权重只是最低标准，研究者若想深入了解模型，还需训练数据等细节，而企业通常不愿公开。此外，运行模型需要芯片，芯片价格已变得高昂。有专家提出分阶段发布等策略来降低风险。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载防篡改模型的研究现状
有研究者试图构建能抵抗重新训练的模型，使开放模型的安全训练不易被移除。其思路是：反复尝试将模型重新训练为不安全状态，并强化模型对这类训练的抵抗，最终得到能抵御未来重训的模型。但一篇预印本论文指出，目前没有任何防篡改方法能抵御所有篡改攻击。论文第一作者、AI 医学影像公司 Deep Breathe 的工程师 Saad Hossain 仍持乐观态度，理由是这一领域研究活跃，许多人正尝试提出更新更好的方法。
开放模型的收益与门槛
开放模型的收益并非一目了然。公开模型内部结构或权重，未必足以打破 AI 带来的权力集中。有研究者认为，开源在分散权力方面确有实际好处，但仅靠开源并不够。公开权重只是开放模型的最低标准：研究者若能获取训练细节，包括训练所用数据，才能更深入了解模型运作，而 AI 企业通常不愿披露这些信息。可访问性同样重要，没有能运行复杂模型的芯片，即便拿到权重也无法使用，而随着 AI 公司大量采购，芯片价格已高得令人却步。
开放的定义与风险缓解
有观点认为，开放是确保技术未来惠及所有人所需努力的底线而非上限。真正的开放不仅包括公开权重，还包括公开训练数据和可获取的硬件。但这也会带来更多风险：如果人人都有先进 AI 硬件和模型，任何人都可能成为黑客。对此存在缓解策略，许多专家主张某种形式的分阶段发布，即模型最初闭源，随后逐步变得更加自由可访问。
为什么值得看
开放模型的安全与权力集中问题正被具体研究，防篡改技术现状和开放标准之争值得关注。
安全芯片论文
信源1 家
关键事实
相关 · 观点
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。