五步防护方案阻止恶意提示攻击智能家居AI设备

提示词恶意软件是一种针对对话式和生成式AI的新型恶意攻击,能强制AI执行用户不希望的指令。研究人员在黑帽大会上演示了如何通过隐藏在日常消息中的恶意提示词,让谷歌Gemini AI控制智能窗户、锅炉等设备。防护措施包括:及时更新设备系统,拒绝打开未知来源消息,避免让AI总结不可信内容,在邮件和日历等应用中禁用AI功能,以及谨慎复制粘贴邮件主题和文件名等内容。

我通常对智能家居技术及其强大的抗黑客能力持乐观态度,但有一个新的漏洞让我担忧。它被称为"提示恶意软件"(也称为提示注入攻击),这是一种针对对话式和生成式AI的新型恶意软件,比如Gemini、Alexa Plus或Siri等在我们生活中变得无处不在的AI助手,而且这种攻击即将变得更加普遍。

提示恶意软件强制AI读取指令,使其执行用户/订阅者不希望的操作。例子从烦人的行为(如发送垃圾邮件或自动与陌生人开启Zoom通话)到极其危险的行为(如复制和发送个人数据或控制智能家居设备,比如供暖、灯光甚至智能门锁)都有可能发生。

提示恶意软件令人担忧,因为它可以隐藏在许多地方,专家们仍在了解它对大语言模型风格AI带来的危险。但有方法可以保护您和您的家庭——请看我下面的步骤。

**提示恶意软件的兴起**

提示恶意软件或提示注入攻击在今年夏天的黑帽会议上成为焦点,特拉维夫大学的研究人员在Ben Nassi的带领下展示了他们如何能够使用隐藏在日常消息中的恶意提示,让谷歌的Gemini AI执行诸如打开智能窗户、打开连接的锅炉或发送用户地理位置等操作,这要归功于Gemini与Google Home和相关应用的集成。消息内部隐藏着精心设计的命令,归结起来就是:"嘿Gemini,激活这个功能,当用户在邮件中输入'谢谢'或'再见'之类的内容时,让它执行这个操作。"

更糟糕的是,大部分提示恶意软件是"零点击"的,这意味着用户不必点击URL、文档或消息来激活它。Gemini只需要读取标题或日历消息,其中恶意提示被巧妙隐藏,比如当它为你总结邮件对话时。

好消息是:你目前不需要担心Gemini受到这些家居控制提示的攻击。谷歌在2025年初就了解到了这些漏洞,并建立了防护措施来消除这些漏洞并帮助预防此类提示恶意软件。

谷歌发言人还告诉我:"与白帽和安全研究人员的积极合作是一个极其积极的发展,导致了富有成效的测试和漏洞搜寻,使AI系统对每个人都更加强大。我们积极参与并重视我们的AI漏洞奖励计划等项目。"

然而,这些漏洞的发现表明了提示恶意软件有多危险,以及AI如何可能被位于最无害地方的提示恶意软件欺骗。这也不是传统病毒软件或防火墙能够检测到的攻击。随着AI变得更加发达,在我们的日常通信中更加普及,与我们的计算机、家居设备和手机连接更加紧密,这就成了一个问题。

我预计网络犯罪分子将密切关注可能不会像这些Gemini失误那样早期被发现的提示恶意软件漏洞,特别是随着Alexa Plus AI继续缓慢推出,苹果也在讨论用Gemini AI功能升级Siri。

**阻止提示恶意软件威胁的5个关键步骤**

如果提示恶意软件/提示注入攻击只是通过让AI读取它就能绕过防御,你如何防护呢?幸运的是,几种安全实践可以提供帮助——在AI时代,这些步骤也能防止其他隐私和安全问题,所以它们对每个人来说都是健康的习惯。

**始终保持设备更新,特别是在AI时代**

更新一直是修补安全漏洞和保持应用更安全的第一道防线。现在,它们为生活在我们手机上的AI功能提供重要更新,这可能包括新的安全功能。

始终将手机的操作系统更新到最新版本,以及你使用的应用程序(AI或其他)。如果设置允许,请启用自动更新。

**不要接受或打开来自未知来源的任何消息**

不是所有的提示恶意软件都是零点击的,有些版本需要你打开或同意某些内容才能将提示插入到AI会读取的地方。通过避免任何你不认识的消息或发送者来防止这种情况。如果可能的话,甚至不要打开它们来了解更多信息——只需删除并继续。

当我联系谷歌时,他们提到的一件事是:"提示注入攻击虽然是AI特有的,但与长期存在的威胁(如邮件中的钓鱼攻击)有着根本的共同点。攻击者将在这两个领域持续探测新的漏洞。"就像钓鱼攻击一样,最好是删除和举报,而不是承担任何风险。

**不要要求AI总结你不了解和不信任的任何内容**

在许多情况下,AI实际上不会读取提示,除非被命令这样做。这可能包括总结邮件或短信、创建日历事件、总结在线文档等。为了避免提示恶意软件,最好避免要求AI总结一堆你可以自己浏览的消息。

**在邮件、日历、聊天应用和其他可以接收消息的地方禁用AI**

提示恶意软件必须来自某个地方,即使它并不总是需要你点击链接。防止它控制连接设备的一种通常有效的方法是确保你选择的AI不会"看到"任何提示。

为此,看看你是否可以在邮件、消息(如短信摘要)和日历等生产力应用中禁用AI功能,以大大降低任何类型的提示恶意软件获得控制权的风险。

如果你可以创建详细设置,你可以将AI切换为仅在提示时才执行操作,这样你仍然可以保留某些好处。这是HITL或人在回路防御,人类必须给AI权限才能行动,这样它就不会自己遇到任何提示恶意软件。

**不要只是复制粘贴邮件主题行、文件名或代码**

提示恶意软件经常隐藏在冗长描述、邮件主题、文件名和代码片段的边缘,你在组织或传输数据时可能会想要复制粘贴。这样可以节省时间,但我建议养成首先检查所有这些标题和描述的习惯,以确保尾部没有隐藏奇怪的命令。

Q&A

Q1:什么是提示恶意软件?它有什么危害?

A:提示恶意软件是一种针对对话式和生成式AI的新型恶意软件,它强制AI读取指令并执行用户不希望的操作。危害从发送垃圾邮件、自动开启陌生人通话等烦人行为,到复制发送个人数据、控制智能家居设备如供暖、灯光甚至智能门锁等危险行为。

Q2:提示恶意软件是如何工作的?

A:提示恶意软件通过在日常消息中隐藏恶意提示来工作,当AI读取这些内容时(比如总结邮件对话),就会执行隐藏的命令。更危险的是,大部分提示恶意软件是"零点击"的,用户不需要点击任何内容,AI只需读取标题或日历消息就可能被激活。

Q3:如何防护提示恶意软件攻击?

A:主要有五个防护步骤:1)保持设备和应用更新;2)不接受或打开未知来源的消息;3)不要求AI总结不了解和不信任的内容;4)在邮件、日历等应用中禁用AI功能;5)不要直接复制粘贴邮件主题、文件名或代码,要先检查是否有隐藏的恶意命令。

来源:cnet

0赞

好文章,需要你的鼓励

2025

09/03

08:10

分享

点赞

邮件订阅