OpenAI、谷歌、微软、Anthropic 将采用统一抓取退出标准
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载统一信号写进 robots.txt
这项机制的核心是把发布方的 AI 训练偏好压缩成一个共享的“policy token”，放进网站根目录下早已存在的 robots.txt。该文件过去用于告诉搜索引擎爬虫能否索引或归档页面，如今被扩展为同时承载 AI 训练用途的许可信息。提出者是 Anthropic 的标准技术负责人 Kevin Kelley，提案提交至 IETF。对站点运营者而言，变化在于不必再逐家对接：一次声明即可覆盖多家公司的爬虫。四家表态采纳的公司称，爬虫遇到该 token 时会停止访问对应站点。
从逐家协商到一次声明
在现有做法下，发布方要分别向每家 AI 公司表达是否允许抓取用于训练，沟通成本高且口径容易不一致。共享 token 试图把这种点对点协商变成公开、可机器读取的统一信号。材料提到，发布方承受着持续涌入的 AI 爬虫压力，部分机构已尝试其他路径：RSL 标准允许向访问站点的爬虫收费，Cloudflare 则默认拦截 AI 爬虫。统一 token 与这些方案的区别在于它不涉及计费或拦截，只表达偏好，依赖各家爬虫自愿遵守。
表态与执行之间的空白
目前明确表示会采纳的是 OpenAI、Google、Microsoft 和 Anthropic，它们承诺在遇到共享 token 时限制自家爬虫访问。Meta 的传播负责人 Andy Stone 称，建立一种能同时向多家提供方传达偏好的通用信号是重要一步，并期待与其他 AI 公司合作推进标准与落地，但没有说明 Meta 是否会遵守该设置。Microsoft 另外提到会提供更细粒度的控制，让发布方可以分别选择退出 AI 训练或 AI grounding，后者指把模型指向某段内容的过程。这些差异意味着同一份 robots.txt 声明在不同公司处的实际效果可能并不一致。
为什么值得看
内容方与 AI 爬虫的博弈出现统一技术出口，robots.txt 这一老机制被赋予新用途，直接影响训练数据来源与站点策…
信源1 家
关键事实
相关 · 行业
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。