Cloudflare,作为全球最大的互联网基础设施公司之一,近日宣布推出了一款名为"AI 迷宫"的新工具,用于对抗未经许可爬取网站数据用于 AI 训练的爬虫机器人。该公司在一篇博客文章中表示,当检测到"不当的机器人行为"时,这个免费的选择性工具会将爬虫引导至一系列 AI 生成的诱饵页面链接中,从而"减缓、混淆并浪费"这些恶意行为者的资源。
长期以来,网站一直使用基于信任机制的 robots.txt 文件来授予或拒绝爬虫的访问权限,但包括 Anthropic 和 Perplexity AI 在内的知名 AI 公司都被指控无视这一规则。Cloudflare 表示,他们每天要处理超过 500 亿次网络爬虫请求。尽管公司已经具备识别和阻止恶意爬虫的工具,但这往往会促使攻击者改变策略,形成"永无止境的军备竞赛"。
Cloudflare 表示,AI 迷宫不是简单地阻止机器人,而是通过让它们处理与网站实际数据无关的内容来进行反击。该公司称这也是"新一代蜜罐",能够吸引 AI 爬虫不断深入追踪虚假页面的链接,而普通用户则不会这样做。这使得 Cloudflare 更容易将恶意机器人的特征录入黑名单,同时识别出原本无法发现的"新型机器人模式和特征"。根据博文介绍,这些链接对普通用户应该是不可见的。
您可以在 Cloudflare 的博客上了解更多关于 AI 迷宫的工作原理,以下是博文中的更多细节:
"我们发现,首先生成各种不同的主题,然后为每个主题创建内容,能够产生更加多样化和令人信服的结果。对我们来说,避免生成可能导致互联网上虚假信息传播的不准确内容非常重要,因此我们生成的内容都是真实的,并且与科学事实相关,只是与被爬取的网站内容无关且不具专有性。"
网站管理员可以通过进入其 Cloudflare 控制面板设置的机器人管理部分并开启相关功能来选择使用 AI 迷宫。该公司表示,这"只是利用生成式 AI 对抗机器人的第一步"。他们计划创建"完整的链接 URL 网络",使陷入其中的机器人难以识别出这些内容是虚假的。正如 Ars Technica 所指出的,AI 迷宫与 Nepenthes 工具类似,后者旨在将爬虫困在 AI 生成的垃圾数据地狱中长达"数月之久"。
好文章,需要你的鼓励
南洋理工大学研究团队开发了WorldMem框架,首次让AI拥有真正的长期记忆能力,解决了虚拟世界模拟中的一致性问题。该系统通过记忆银行存储历史场景,并使用智能检索机制,让AI能准确重现之前的场景和事件,即使间隔很长时间。实验显示在Minecraft和真实场景中都表现出色,为游戏、自动驾驶、机器人等领域带来广阔应用前景。
AWS通过升级SageMaker机器学习平台来扩展市场地位,新增观测能力、连接式编码环境和GPU集群性能管理功能。面对谷歌和微软的激烈竞争,AWS专注于为企业提供AI基础设施支撑。SageMaker新功能包括深入洞察模型性能下降原因、为开发者提供更多计算资源控制权,以及支持本地IDE连接部署。这些更新主要源于客户需求,旨在解决AI模型开发中的实际问题。
MTS AI研究团队提出RewardRanker系统,通过重排序模型和迭代自训练显著提升AI代码生成质量。该方法让13.4B参数模型超越33B大模型,在多种编程语言上表现优异,甚至在C++上超越GPT-4。通过引入困难负样本和PPO优化,系统能从多个代码候选中选出最优方案,为AI编程助手的实用化奠定基础。