我通常对智能家居技术及其强大的抗黑客能力持乐观态度,但有一个新的漏洞让我担忧。它被称为"提示恶意软件"(也称为提示注入攻击),这是一种针对对话式和生成式AI的新型恶意软件,比如Gemini、Alexa Plus或Siri等在我们生活中变得无处不在的AI助手,而且这种攻击即将变得更加普遍。
提示恶意软件强制AI读取指令,使其执行用户/订阅者不希望的操作。例子从烦人的行为(如发送垃圾邮件或自动与陌生人开启Zoom通话)到极其危险的行为(如复制和发送个人数据或控制智能家居设备,比如供暖、灯光甚至智能门锁)都有可能发生。
提示恶意软件令人担忧,因为它可以隐藏在许多地方,专家们仍在了解它对大语言模型风格AI带来的危险。但有方法可以保护您和您的家庭——请看我下面的步骤。
**提示恶意软件的兴起**
提示恶意软件或提示注入攻击在今年夏天的黑帽会议上成为焦点,特拉维夫大学的研究人员在Ben Nassi的带领下展示了他们如何能够使用隐藏在日常消息中的恶意提示,让谷歌的Gemini AI执行诸如打开智能窗户、打开连接的锅炉或发送用户地理位置等操作,这要归功于Gemini与Google Home和相关应用的集成。消息内部隐藏着精心设计的命令,归结起来就是:"嘿Gemini,激活这个功能,当用户在邮件中输入'谢谢'或'再见'之类的内容时,让它执行这个操作。"
更糟糕的是,大部分提示恶意软件是"零点击"的,这意味着用户不必点击URL、文档或消息来激活它。Gemini只需要读取标题或日历消息,其中恶意提示被巧妙隐藏,比如当它为你总结邮件对话时。
好消息是:你目前不需要担心Gemini受到这些家居控制提示的攻击。谷歌在2025年初就了解到了这些漏洞,并建立了防护措施来消除这些漏洞并帮助预防此类提示恶意软件。
谷歌发言人还告诉我:"与白帽和安全研究人员的积极合作是一个极其积极的发展,导致了富有成效的测试和漏洞搜寻,使AI系统对每个人都更加强大。我们积极参与并重视我们的AI漏洞奖励计划等项目。"
然而,这些漏洞的发现表明了提示恶意软件有多危险,以及AI如何可能被位于最无害地方的提示恶意软件欺骗。这也不是传统病毒软件或防火墙能够检测到的攻击。随着AI变得更加发达,在我们的日常通信中更加普及,与我们的计算机、家居设备和手机连接更加紧密,这就成了一个问题。
我预计网络犯罪分子将密切关注可能不会像这些Gemini失误那样早期被发现的提示恶意软件漏洞,特别是随着Alexa Plus AI继续缓慢推出,苹果也在讨论用Gemini AI功能升级Siri。
**阻止提示恶意软件威胁的5个关键步骤**
如果提示恶意软件/提示注入攻击只是通过让AI读取它就能绕过防御,你如何防护呢?幸运的是,几种安全实践可以提供帮助——在AI时代,这些步骤也能防止其他隐私和安全问题,所以它们对每个人来说都是健康的习惯。
**始终保持设备更新,特别是在AI时代**
更新一直是修补安全漏洞和保持应用更安全的第一道防线。现在,它们为生活在我们手机上的AI功能提供重要更新,这可能包括新的安全功能。
始终将手机的操作系统更新到最新版本,以及你使用的应用程序(AI或其他)。如果设置允许,请启用自动更新。
**不要接受或打开来自未知来源的任何消息**
不是所有的提示恶意软件都是零点击的,有些版本需要你打开或同意某些内容才能将提示插入到AI会读取的地方。通过避免任何你不认识的消息或发送者来防止这种情况。如果可能的话,甚至不要打开它们来了解更多信息——只需删除并继续。
当我联系谷歌时,他们提到的一件事是:"提示注入攻击虽然是AI特有的,但与长期存在的威胁(如邮件中的钓鱼攻击)有着根本的共同点。攻击者将在这两个领域持续探测新的漏洞。"就像钓鱼攻击一样,最好是删除和举报,而不是承担任何风险。
**不要要求AI总结你不了解和不信任的任何内容**
在许多情况下,AI实际上不会读取提示,除非被命令这样做。这可能包括总结邮件或短信、创建日历事件、总结在线文档等。为了避免提示恶意软件,最好避免要求AI总结一堆你可以自己浏览的消息。
**在邮件、日历、聊天应用和其他可以接收消息的地方禁用AI**
提示恶意软件必须来自某个地方,即使它并不总是需要你点击链接。防止它控制连接设备的一种通常有效的方法是确保你选择的AI不会"看到"任何提示。
为此,看看你是否可以在邮件、消息(如短信摘要)和日历等生产力应用中禁用AI功能,以大大降低任何类型的提示恶意软件获得控制权的风险。
如果你可以创建详细设置,你可以将AI切换为仅在提示时才执行操作,这样你仍然可以保留某些好处。这是HITL或人在回路防御,人类必须给AI权限才能行动,这样它就不会自己遇到任何提示恶意软件。
**不要只是复制粘贴邮件主题行、文件名或代码**
提示恶意软件经常隐藏在冗长描述、邮件主题、文件名和代码片段的边缘,你在组织或传输数据时可能会想要复制粘贴。这样可以节省时间,但我建议养成首先检查所有这些标题和描述的习惯,以确保尾部没有隐藏奇怪的命令。
Q&A
Q1:什么是提示恶意软件?它有什么危害?
A:提示恶意软件是一种针对对话式和生成式AI的新型恶意软件,它强制AI读取指令并执行用户不希望的操作。危害从发送垃圾邮件、自动开启陌生人通话等烦人行为,到复制发送个人数据、控制智能家居设备如供暖、灯光甚至智能门锁等危险行为。
Q2:提示恶意软件是如何工作的?
A:提示恶意软件通过在日常消息中隐藏恶意提示来工作,当AI读取这些内容时(比如总结邮件对话),就会执行隐藏的命令。更危险的是,大部分提示恶意软件是"零点击"的,用户不需要点击任何内容,AI只需读取标题或日历消息就可能被激活。
Q3:如何防护提示恶意软件攻击?
A:主要有五个防护步骤:1)保持设备和应用更新;2)不接受或打开未知来源的消息;3)不要求AI总结不了解和不信任的内容;4)在邮件、日历等应用中禁用AI功能;5)不要直接复制粘贴邮件主题、文件名或代码,要先检查是否有隐藏的恶意命令。
好文章,需要你的鼓励
VSCO今日更新VSCO Capture应用,新增视频拍摄功能。用户现可在拍摄照片和视频时应用并调整VSCO的50多种滤镜预设,包括经典胶片到现代创作风格。新版本还推出胶片颗粒滤镜,可动态控制纹理强度、大小和色彩。用户能将颗粒滤镜叠加到Film X滤镜上,结合柯达、富士和爱克发胶片风格,保存个性化胶片配方。
瑞士ETH苏黎世联邦理工学院等机构联合开发的WUSH技术,首次从数学理论层面推导出AI大模型量化压缩的最优解。该技术能根据数据特征自适应调整压缩策略,相比传统方法减少60-70%的压缩损失,实现接近零损失的模型压缩,为大模型在普通设备上的高效部署开辟了新路径。
Instagram负责人Adam Mosseri表示,AI生成内容已经占据社交媒体主导地位,预计将超越非AI内容。他认为识别AI内容的技术效果不佳,建议转而为真实媒体建立指纹识别系统,由相机制造商在拍摄时进行加密签名。Mosseri还指出,创作者应优先发布"不完美"的原始图像来证明真实性,因为精美方形图片的时代已经结束。
弗吉尼亚大学团队创建了Refer360数据集,这是首个大规模记录真实环境中人机多模态交互的数据库,涵盖室内外场景,包含1400万交互样本。同时开发的MuRes智能模块能让机器人像人类一样理解语言、手势和眼神的组合信息,显著提升了现有AI模型的理解准确度,为未来智能机器人的广泛应用奠定了重要基础。