Cloudflare,作为全球最大的互联网基础设施公司之一,近日宣布推出了一款名为"AI 迷宫"的新工具,用于对抗未经许可爬取网站数据用于 AI 训练的爬虫机器人。该公司在一篇博客文章中表示,当检测到"不当的机器人行为"时,这个免费的选择性工具会将爬虫引导至一系列 AI 生成的诱饵页面链接中,从而"减缓、混淆并浪费"这些恶意行为者的资源。
长期以来,网站一直使用基于信任机制的 robots.txt 文件来授予或拒绝爬虫的访问权限,但包括 Anthropic 和 Perplexity AI 在内的知名 AI 公司都被指控无视这一规则。Cloudflare 表示,他们每天要处理超过 500 亿次网络爬虫请求。尽管公司已经具备识别和阻止恶意爬虫的工具,但这往往会促使攻击者改变策略,形成"永无止境的军备竞赛"。
Cloudflare 表示,AI 迷宫不是简单地阻止机器人,而是通过让它们处理与网站实际数据无关的内容来进行反击。该公司称这也是"新一代蜜罐",能够吸引 AI 爬虫不断深入追踪虚假页面的链接,而普通用户则不会这样做。这使得 Cloudflare 更容易将恶意机器人的特征录入黑名单,同时识别出原本无法发现的"新型机器人模式和特征"。根据博文介绍,这些链接对普通用户应该是不可见的。
您可以在 Cloudflare 的博客上了解更多关于 AI 迷宫的工作原理,以下是博文中的更多细节:
"我们发现,首先生成各种不同的主题,然后为每个主题创建内容,能够产生更加多样化和令人信服的结果。对我们来说,避免生成可能导致互联网上虚假信息传播的不准确内容非常重要,因此我们生成的内容都是真实的,并且与科学事实相关,只是与被爬取的网站内容无关且不具专有性。"
网站管理员可以通过进入其 Cloudflare 控制面板设置的机器人管理部分并开启相关功能来选择使用 AI 迷宫。该公司表示,这"只是利用生成式 AI 对抗机器人的第一步"。他们计划创建"完整的链接 URL 网络",使陷入其中的机器人难以识别出这些内容是虚假的。正如 Ars Technica 所指出的,AI 迷宫与 Nepenthes 工具类似,后者旨在将爬虫困在 AI 生成的垃圾数据地狱中长达"数月之久"。
好文章,需要你的鼓励
生成式AI在电商领域发展迅速,但真正的客户信任来自可靠的购物体验。数据显示近70%的在线购物者会放弃购物车,主要因为结账缓慢、隐藏费用等问题。AI基础设施工具正在解决这些信任危机,通过实时库存监控、动态结账优化和智能物流配送,帮助商家在售前、售中、售后各环节提升可靠性,最终将一次性买家转化为忠实客户。
泰国SCBX金融集团开发的DoTA-RAG系统通过动态路由和混合检索技术,成功解决了大规模知识库检索中速度与准确性难以兼得的难题。系统将1500万文档的搜索空间缩小92%,响应时间从100秒降至35秒,正确性评分提升96%,为企业级智能问答系统提供了实用的技术方案。
存储供应商Qumulo发布多租户架构Stratus,为每个租户提供独立的虚拟环境,通过加密技术和租户专用密钥管理系统实现隔离。该统一文件和对象存储软件支持本地、边缘、数据中心及AWS、Azure等云环境部署。Stratus采用加密隔离技术确保敏感数据安全,同时提供任务关键操作所需的灵活性和效率,帮助联邦和企业客户满足合规要求。
中科院和字节跳动联合开发了VGR视觉锚定推理系统,突破了传统AI只能粗略"看图"的局限。该系统能在推理过程中主动关注图片关键区域,像人类一样仔细观察细节后再得出结论。实验显示VGR在图表理解等任务上性能大幅提升,同时计算效率更高,代表了多模态AI"可视化推理"的重要进展。