未被检测到的网络内容抓取爬虫程序对电商行业影响严重
2024年 7月2日 – 负责支持和保护网络生活的云服务提供商阿卡迈技术公司(Akamai Technologies, Inc.,以下简称:Akamai)(NASDAQ:AKAM),近日发布了新一期的《互联网现状》(SOTI) 报告,详细介绍了随着网络内容抓取爬虫程序的激增,许多企业都会面临安全和业务威胁。《侵蚀您的利润:网络爬虫程序对电商行业有何影响》报告发现,爬虫程序流量占整个网络流量的 42%,且 65% 的爬虫程序是恶意的。
由于电商行业依赖于创收型 Web 应用程序,高风险爬虫程序流量对该行业的影响最大。尽管某些爬虫程序对业务是有益的,但网络抓取类爬虫程序却被用于获取竞争情报和开展间谍活动、囤积库存、创建假冒网站以及其他对利润和客户体验产生负面影响的活动。目前尚无法律禁止使用抓取类爬虫程序,而且由于人工智能 (AI) 僵尸网络的兴起,检测它们并非易事,但公司可以采取一些措施来加以缓解。
Akamai 亚太地区及日本安全技术和战略总监Reuben Koh 表示:“每家电商平台都在一定程度上依赖网络爬虫机器人。当这些机器人被滥用时,挑战就出现了,因为它们的功能相似,很难区分好坏。此外,快速发展的爬虫环境使防火墙等传统防御措施失效,这进一步加剧了这一问题。现在,电子商务企业,尤其是作为全球主要商业中心的亚太及日本地区的电子商务企业,比以往任何时候都更需要投资于合适的解决方案。以成功应对恶意机器人发起的不可预测和反复的攻击。这是由于这些企业在实现区域化并扩大客户群的时候,往往会面临更多威胁。”
该报告的主要调查结果如下:
《侵蚀您的利润:网络爬虫程序对电商行业有何影响》研究报告介绍了缓解抓取类爬虫程序的策略,并结合案例研究,说明采取有效防护措施能够显著提升网站的运行速度和效率。此外,该研究报告还指出,在应对这些日益增多的攻击时,必须考虑合规性问题。
今年是 Akamai 发布《互联网现状》(SOTI) 报告 10 周年。 SOTI 系列报告以 Akamai Connected Cloud 收集的数据为基础,提供有关网络安全和 Web 性能形势的专家见解。
好文章,需要你的鼓励
检索增强生成(RAG)正成为AI领域的关键技术,通过结合外部信息检索与大语言模型的生成能力,解决传统模型仅依赖训练数据的局限性。RAG允许模型实时访问外部数据库或文档,提供更准确、更新的信息。该技术可应用于企业文档查询、个人化AI助手等场景,通过向模型提供特定领域知识来获得精准结果。微软专家指出,RAG有助于结合知识与推理、提高模型使用效率,并支持多模态应用。
加州大学伯克利分校研究团队开发出革命性的R2R2R系统,仅需智能手机拍摄和一段演示视频,就能自动生成大量机器人训练数据。该系统绕过了传统昂贵的远程操作和复杂物理仿真,通过3D重建和智能轨迹生成技术,让机器人训练效率提升27倍,成本大幅降低,有望让高质量机器人技能变得像安装手机应用一样普及。
AI数据平台iMerit认为企业级AI工具集成的下一步不是更多数据,而是更好的数据。该公司正式推出学者计划,旨在建立专家团队来微调生成式AI模型。与Scale AI的高吞吐量方法不同,iMerit专注于专家主导的高质量数据标注,需要深度人工判断和领域专业监督。公司目前与超过4000名学者合作,客户包括三家大型生成式AI公司、八家顶级自动驾驶公司等。
腾讯优图实验室提出AnoGen方法,仅用3张异常图片就能训练出高精度工业检测AI。该方法通过扩散模型学习异常特征并生成大量逼真样本,在MVTec数据集上将检测精度提升5.8%,为解决工业异常检测中样本稀缺问题提供了突破性方案。