AI 偏好控制：IETF 正在完善 robots.txt 以应对无视版权的 AI 爬虫

互联网工程任务组 (IETF) 已成立一个工作组，旨在制定一个标准，让内容创作者能够告知 AI 开发者是否允许使用他们的作品。

这个名为 AI 偏好工作组 (AIPREF) 的组织被要求开发两个方面的内容：

首先是制定一个通用词汇表，用于表达作者和发布者对其内容用于 AI 训练及相关任务的偏好；

其次是开发将这些词汇表附加到互联网内容的方法，可以通过将其嵌入内容中，或者采用类似 robots.txt 的格式，并建立一个标准机制来协调多个偏好表达。

AIPREF 章程建议通过"在内容元数据中包含偏好，或通过传递内容的协议发送偏好信号"来实现这些目标。

AIPREF 联合主席 Mark Nottingham 认为之所以需要这些措施，是因为当前的系统并不能很好地发挥作用。

他认为 robots.txt 文件中的"非标准信号"（这是一个 IETF 标准，用于定义爬虫是否允许访问网络内容的语法）已经失效。

"结果就是，作者和发布者对他们的偏好是否会被遵守失去了信心，只能采取诸如屏蔽 [AI 供应商] IP 地址的措施。"

内容创作者之所以采取 IP 屏蔽措施，是因为主要的模型开发商在抓取互联网内容用于训练 AI 时，并没有征求许可或寻求授权。

OpenAI 目前正在游说推动版权改革，希望能够在不付费的情况下抓取更多内容。

版权持有者正在通过起诉那些使用版权材料构建模型的机构进行反击，同时也在签署许可协议，让 AI 公司付费访问内容。

AI 爬虫还给发布者带来了经济负担。维基媒体基金会最近抱怨说，用于处理图像检索请求的带宽在过去一年增加了 50%，主要是因为 AI 爬虫下载资料。

IETF 并不关心这些法律和运营问题：它只想构建技术，让人们能够表达他们的偏好，希望爬虫运营者能够接受并只获取创作者愿意提供给 AI 使用的内容。

为了推进这项工作，AIPREF 在三月中旬的 IETF 122 会议上召开了会议，并已经制定了两个草案。一个提出了"用于自动处理的简短使用偏好字符串"，建议这些字符串可以用在 robots.txt 文件或 HTTP 头字段中。

另一个来自 Common Crawl Foundation 的提案题为"用于 AI 训练的内容偏好表达词汇"，同样建议将偏好语法存储在 robots.txt 文件或 HTTP 头字段中，还建议在元标签中使用proposed vocabulary。

AIPREF 本周正在召开会议，尽管一个计划中的会议似乎已被取消。

该工作组给自己设定了 2025 年 8 月的截止日期来提交提案。参与者似乎都知道这是一个紧迫的期限，因此该组织需要加快行动。