AI智能体遭间接提示注入攻击，多款主流模型被测试攻破

AI

Zscaler日前对主流大语言模型进行测试后发现，部分自主AI智能体已成为欺诈行为的受害者。测试结果显示，一些高端企业级智能体极易被人类几乎不会上当的骗局所欺骗。

Zscaler对多种形式的间接提示注入（IPI）攻击进行了分析，发现尽管许多模型都未能幸免，但部分低端大语言模型的表现反而优于其更昂贵的同类产品。

在测试中，四款模型被判定为"存在漏洞"，分别是：Llama3-3-70b-instruct、Llama3-2-90b-instruct、Gemini-3-flash和Gemini-2.5-pro。三款模型被判定为"安全"，分别是：Llama4-maverick、Gemini-3.1-pro和Gemini-3.1-flash-lite。结果显示，Gemini-2.5-pro的抗欺诈能力似乎弱于Gemini-3.1-flash-lite。

然而，Digital 520首席顾问诺亚·肯尼表示，这一结果并不一定能得出有价值的结论，因为智能体会随着持续摄入新数据和修正分析假设而不断改变行为。他指出，某次测试中失败的智能体，完全可能在一小时后通过完全相同的测试。

"智能体的风险在持续变化，这可能导致截然不同的测试结果。你不能假设测试结果具有普适性，测试结果只代表某一个时间点的状态，"肯尼说道。他认为Zscaler"试图证明的观点，并不一定能从这些数据中得到支撑"。

肯尼还指出，简单的"安全/存在漏洞"二元分类方式过于简化，缺乏实用价值，并表示自己"绝不会建议CISO采用二元分类方式"。

Zscaler在其完整博客文章中指出，许多自主智能体都容易受到IPI攻击。该公司表示，已在多个网站上发现嵌入式IPI，这些隐藏指令专门设计用于操控AI智能体的行为。

在对26款大语言模型进行的内部验证测试中，4款模型"未能采取恰当行动"。Zscaler认为，这"证明了可量化的现实影响，表明不同模型的易感性存在差异，且受到提示词之外提供给大语言模型的上下文内容的影响"。

文章还补充道："随着AI智能体成为接入互联网的更常见界面，内容本身将成为更大的攻击面，这凸显了AI是一把双刃剑——在简化工作流程的同时，也引入了新的滥用途径。"

纽约科技咨询公司Tribeca Softtech首席战略官阿曼·马哈帕特拉表示，尽管这些结果并不令人意外，但其重要性不容忽视。

他认为，报告中最令人担忧的细节在于竟有商业大语言模型完全失败，"因为智能体AI的安全模型历来假定，模型级别的安全训练可以有效减弱此类攻击。但事实并非如此，而Zscaler的数据是迄今为止被广泛引用的首批公开证据。"

马哈帕特拉还指出，Zscaler所引用的案例，与其可能引发的更大规模损失相比，远未达到令人真正警觉的程度。

"Zscaler所描述的支付欺诈场景——智能体向虚假开发者许可费支付3美元以获取API密钥——只是其中危害最小的版本，"他说，"将同样的技术应用于被授权处理采购、费用报销、供应商入驻或交易执行的智能体，损失将完全是另一个量级。在过去六个月里，我亲眼见证财富50强银行搭建的智能体工作流，在实际检测中同样无法抵御此类攻击。"

他还指出，大多数AI厂商其实已经清楚当前AI智能体所带来的巨大风险。

"每一家模型提供商私下都会承认，基于Transformer的推理基础架构在根本上无法将不可信内容与可信指令清晰分离，因为两者共享同一个上下文窗口，"马哈帕特拉说，"攻击面是架构层面的，而不仅仅是行为层面的。这意味着防御也必须从架构层面入手，而这正是企业级智能体AI对话中严重滞后的环节。"

Zscaler的测试还再次揭示了AI智能体与人类在信息处理方式上的本质差异。

马哈帕特拉指出："人类对于意料之外的指令会保持怀疑，而智能体则急于执行结构化的元数据，因为其训练机制会奖励它将高信号字段视为权威来源。人类在执行无关任务时会注意到突然出现的付款请求，而智能体则会在周边上下文将其包装为程序必要步骤时，将该请求直接纳入执行计划。"他还指出，人类拥有与供应商的关系、过往互动记忆以及社会背景等验证信号，而智能体只有上下文窗口中的内容，"而上下文窗口现在已成为主要攻击面"。

Info-Tech Research Group首席网络安全顾问弗里茨·让-路易斯同样认为，Zscaler报告中描述的风险令人担忧，因为它们涉及的领域传统上不在企业安全防护范围之内。

"这些攻击与传统威胁的不同之处在于，它们针对的是AI系统在幕后处理、解读和执行信息的方式，"让-路易斯说，"智能体AI引入了新的信任边界，包括不可信内容对自动决策的影响、代表用户自主行动的工具和插件，以及在广泛继承权限下运行的AI系统。这实际上将这一挑战转变成了一种内部威胁范式。"

Q&A

Q1：什么是间接提示注入攻击？它对AI智能体有什么危害？

A：间接提示注入（IPI）是一种将隐藏指令嵌入网页或数据内容中的攻击方式，目的是操控AI智能体执行攻击者预设的行为。例如，Zscaler发现智能体会因此被诱导向虚假账户付款、泄露数据等。由于AI智能体无法像人类一样对意外指令保持怀疑，极易将恶意指令当作合法任务来执行，从而造成实际损失。

Q2：Zscaler测试中哪些大语言模型存在漏洞，哪些表现安全？

A：在Zscaler对26款大语言模型的测试中，被判定为"存在漏洞"的四款模型分别是Llama3-3-70b-instruct、Llama3-2-90b-instruct、Gemini-3-flash和Gemini-2.5-pro；被判定为"安全"的三款模型分别是Llama4-maverick、Gemini-3.1-pro和Gemini-3.1-flash-lite。值得注意的是，价格更高的Gemini-2.5-pro抗攻击能力反而弱于更轻量的Gemini-3.1-flash-lite。

Q3：企业应该如何防范AI智能体面临的间接提示注入风险？

A：专家指出，由于基于Transformer的推理架构从根本上难以将可信指令与不可信内容分离，防御必须从架构层面入手，而非仅依赖模型本身的安全训练。企业应建立更严格的权限控制机制，避免智能体拥有过于宽泛的操作权限，同时对智能体的行为进行实时监控和审计，而不能简单依赖模型供应商的内置安全措施。