人工智能公司Anthropic PBC今天发布了详细报告,披露了其所称的首例"AI编排网络间谍活动"。
该活动涉及疑似中国国家支持的黑客组织使用Anthropic的Claude模型,自动化执行针对数十家全球机构的网络间谍活动的主要部分。该公司表示,攻击者在最少人工干预的情况下,编排了侦察、漏洞开发和数据渗透,这标志着AI智能体作为入侵核心引擎运作的最清晰例证之一。
该活动针对约30个涵盖技术、金融、化工和公共部门的组织,但只有少数入侵成功。虽然针对公司的攻击活动屡见不鲜,但有趣的是这些攻击的执行方式。
威胁行为者使用Claude和Claude Code处理80%到90%的操作工作流程,包括扫描网络、生成利用代码、爬取内部系统和打包窃取的数据。人工操作员提供战略监督,但大多数实际操作都通过自动化AI循环运行。
攻击者通过将提示伪装成渗透测试任务,并将恶意指令分解成看似无害的较小子任务,绕过了Claude AI模型的安全防护。Anthropic表示,该行为者有效地对系统的防护机制进行了"社会工程"攻击,使得能够自动化地推进入侵的各个阶段。
该公司没有透露受害者身份,但表示该活动与一个"资源充足、国家支持"且在中国运营的组织一致。
Anthropic在9月中旬检测到这一活动,一旦发现立即暂停了相关账户,并部署了新的分类器和监控系统,旨在检测类似的滥用模式。
该公司还发布了一份详细报告,描述了该操作的展开过程以及为什么AI驱动的威胁对防御者构成日益增长的挑战。通常,曾经需要人工操作员团队完成的任务,现在可以由能够循环执行指令、评估输出并决定下一步的AI智能体在几分钟内完成。
Anthropic写道:"执行复杂网络攻击的门槛已经大幅降低,我们预测这种趋势将继续。通过正确的设置,威胁行为者现在可以长时间使用智能体AI系统来完成整个经验丰富的黑客团队的工作:分析目标系统、生成利用代码,以及比任何人工操作员更高效地扫描大量被盗信息数据集。"
该公司还指出,该活动标志着网络安全的根本性变化,并建议安全团队尝试在安全运营中心自动化、威胁检测、漏洞评估和事件响应等领域应用AI进行防御。
Anthropic补充说:"我们还建议开发者继续投资于其AI平台的防护措施,以防止对抗性滥用。上述描述的技术无疑将被更多攻击者使用,这使得行业威胁共享、改进的检测方法和更强的安全控制变得更加重要。"
Q&A
Q1:Claude模型是如何被用于网络间谍活动的?
A:攻击者使用Claude和Claude Code处理80%到90%的操作工作流程,包括扫描网络、生成利用代码、爬取内部系统和打包窃取数据。他们通过将提示伪装成渗透测试任务,并将恶意指令分解成看似无害的子任务来绕过安全防护。
Q2:这次AI网络间谍活动的规模和影响如何?
A:该活动针对约30个涵盖技术、金融、化工和公共部门的组织,虽然只有少数入侵成功。这被认为是首例"AI编排网络间谍活动",标志着AI智能体作为入侵核心引擎运作的重要例证。
Q3:Anthropic发现这一活动后采取了哪些应对措施?
A:Anthropic在9月中旬检测到活动后,立即暂停了相关账户,并部署了新的分类器和监控系统来检测类似的滥用模式。同时发布详细报告,建议安全团队在防御中应用AI技术,开发者加强AI平台防护措施。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。