在AI安全领域发展的短短历史中,提示词注入已迅速跃升为头号威胁。大语言模型在本质上无法区分用户下达的合法指令,与藏匿于电子邮件、源代码及其他第三方内容中的恶意指令。这一缺陷使得攻击者可以悄无声息地向大语言模型植入恶意命令,而模型会毫不设防地执行这些指令。
由于始终无法在可信来源与不可信来源之间建立有效边界,AI引擎开发商只能疲于构建复杂的防护机制,试图减轻危害,而非从根源上解决问题。
目前,大多数提示词注入攻击属于"推送型",即逐一针对每位潜在受害者发起攻击。例如,攻击者将恶意指令注入特定用户的电子邮件或日历邀请中。由于必须逐一向特定目标推送注入内容,攻击规模受到限制,难以形成波及整个互联网的大规模漏洞利用。
与此同时,"拉取型"攻击虽已存在,但影响范围同样有限。这类攻击依赖大语言模型主动抓取预埋在网站上的恶意提示词,然而由于缺乏有效手段引诱大量大语言模型访问恶意站点,此类攻击同样无法实现大规模扩散。
如今,研究人员设计出一种拉取型攻击方式,彻底改变了这一局面。这种被命名为"HalluSquatting"的新型攻击手法,具备构建大规模僵尸网络、发动大规模DDoS攻击以及批量感染设备的能力,开创了提示词注入攻击的先例。该攻击可对多款AI编程助手和智能体发起有效攻击,包括Cursor、Cursor CLI、Gemini CLI、Windsurf、GitHub Copilot、Cline、OpenClaw、ZeroClaw和NanoClaw,上述工具均存在此漏洞。在日常工作中,这些助手和智能体会频繁从代码仓库和注册中心拉取代码及其他资源。
HalluSquatting是"对抗性幻觉抢注"的缩写,其原理是利用大语言模型在生成资源仓库和注册中心中的标识符时,内在的"幻觉"倾向。该攻击专门针对编程智能体和助手,因为这类工具通常拥有调用高权限命令行的能力,并会从第三方来源获取代码执行。攻击者通过预测大语言模型最可能产生幻觉的标识符,提前抢注这些标识符,并在其中植入安装反向Shell或其他恶意程序的指令,从而无差别地大规模感染设备,完全无需对每个目标单独实施攻击。
研究人员在本周三发布的论文中写道:"此攻击的可扩展性使攻击者能够以极小的代价,通过锁定热门资源来攻陷大量用户,从而最大化被抢注资源被访问的概率。攻击者利用智能体应用集成的Shell和终端执行脚本与代码,通过在注册资源中嵌入安装反向Shell的指令,可有效'感染'数量众多的独立智能体应用。"
凭借大规模控制分布式设备的能力,HalluSquatting有望实现此前提示词注入攻击无法达成的多种攻击目标,包括大规模勒索软件活动,以及用于DDoS攻击或加密货币挖矿的大型僵尸网络。
攻击名称中的"抢注"(Squatting)一词源自"错字抢注"(Typosquatting)手法——即通过注册与知名域名、代码仓库包或其他资源标识符高度相似的名称,诱使用户误访或误装。2016年,一名大学生向PyPI、RubyGems和NPM代码仓库上传了214个恶意包,这些包名刻意模仿合法包的名称,使错字抢注攻击首次引发广泛关注。最终,这些仿冒代码在超过17,000个独立域名上被执行逾45,000次,其中超过半数更被赋予了最高管理员权限。此后,错字抢注攻击愈演愈烈。
HalluSquatting攻击的起点,在于大语言模型无法准确定位用户所指定资源的真实位置。例如,当开发者指示编程智能体克隆某个热门的新代码仓库时,大语言模型产生幻觉、给出错误位置的概率高达85%。而在克隆"技能"(Skill)这类为智能体赋予专项能力和领域知识的指令、脚本或资源时,幻觉发生率甚至可达100%。HalluSquatting之所以将目标锁定在新兴热门资源上,正是因为这类资源尚未被纳入大语言模型的训练数据,同时在短时间内会产生大量下载需求。
Q&A
Q1:HalluSquatting攻击是什么原理?
A:HalluSquatting利用大语言模型在识别代码仓库或注册中心中资源标识符时产生"幻觉"的固有缺陷,攻击者预测模型最可能幻觉出的错误标识符,提前抢注这些名称,并在其中植入安装反向Shell或其他恶意程序的指令。当AI编程助手或智能体主动拉取资源时,就会在无感知的情况下执行恶意代码,从而实现大规模设备感染。
Q2:哪些AI编程工具受到HalluSquatting攻击影响?
A:目前已确认受到影响的工具包括Cursor、Cursor CLI、Gemini CLI、Windsurf、GitHub Copilot、Cline、OpenClaw、ZeroClaw和NanoClaw,共9款主流AI编程助手和智能体。这些工具在日常工作中会频繁从第三方代码仓库和注册中心拉取代码及资源,因此存在被HalluSquatting利用的风险。
Q3:HalluSquatting与以往的提示词注入攻击有什么不同?
A:传统的提示词注入攻击多为"推送型",需要逐一向目标发送恶意内容,攻击规模有限。HalluSquatting则属于"拉取型"攻击,无需针对每个用户单独操作,而是通过抢注大语言模型高概率幻觉出的资源标识符,让大量AI工具主动"上钩",可同时感染海量设备,具备构建僵尸网络、发动DDoS攻击的潜力,攻击规模远超以往。
好文章,需要你的鼓励
OpenAI在与多家新闻机构的版权诉讼中陷入困境。以《纽约时报》为首的原告指控OpenAI在长达两年时间里向法庭撒谎,刻意隐瞒其已对ChatGPT日志进行大规模搜索的事实。据悉,OpenAI实际上已拥有包含1000万和7800万条记录的日志样本,并曾用于研究版权内容过滤器,却对外声称无法进行此类搜索。原告据此提出制裁动议,要求法院追责。OpenAI则否认相关指控,坚称其立场基于合理使用原则。
斯坦福与UC伯克利提出LLM-as-a-Verifier框架,通过提取AI模型内部概率分布生成连续评分,在代码、机器人、医疗领域均达到最优性能,且无需额外训练。
美国加州大学圣地亚哥分校研究团队在《自然》期刊发表研究成果:外科医生通过远程操控宇树G1仿人机器人,成功完成两例活体猪胆囊切除手术,创下全球首例。与造价数十至数百万美元的达芬奇手术机器人相比,仿人机器人成本更低、体积更小,未来有望部署于农村、战地乃至太空等资源匮乏的医疗场景。但目前仍存在需频繁重新校准、机械臂活动范围受限等挑战。
字节跳动Seed团队发现AI智能体在真实环境中学习的进步曲线精确遵循对数S形规律,R?达0.998,且前沿模型的学习速度每三个月翻倍。