我通常对智能家居技术及其强大的抗黑客能力持乐观态度,但有一个新的漏洞让我担忧。它被称为"提示恶意软件"(也称为提示注入攻击),这是一种针对对话式和生成式AI的新型恶意软件,比如Gemini、Alexa Plus或Siri等在我们生活中变得无处不在的AI助手,而且这种攻击即将变得更加普遍。
提示恶意软件强制AI读取指令,使其执行用户/订阅者不希望的操作。例子从烦人的行为(如发送垃圾邮件或自动与陌生人开启Zoom通话)到极其危险的行为(如复制和发送个人数据或控制智能家居设备,比如供暖、灯光甚至智能门锁)都有可能发生。
提示恶意软件令人担忧,因为它可以隐藏在许多地方,专家们仍在了解它对大语言模型风格AI带来的危险。但有方法可以保护您和您的家庭——请看我下面的步骤。
**提示恶意软件的兴起**
提示恶意软件或提示注入攻击在今年夏天的黑帽会议上成为焦点,特拉维夫大学的研究人员在Ben Nassi的带领下展示了他们如何能够使用隐藏在日常消息中的恶意提示,让谷歌的Gemini AI执行诸如打开智能窗户、打开连接的锅炉或发送用户地理位置等操作,这要归功于Gemini与Google Home和相关应用的集成。消息内部隐藏着精心设计的命令,归结起来就是:"嘿Gemini,激活这个功能,当用户在邮件中输入'谢谢'或'再见'之类的内容时,让它执行这个操作。"
更糟糕的是,大部分提示恶意软件是"零点击"的,这意味着用户不必点击URL、文档或消息来激活它。Gemini只需要读取标题或日历消息,其中恶意提示被巧妙隐藏,比如当它为你总结邮件对话时。
好消息是:你目前不需要担心Gemini受到这些家居控制提示的攻击。谷歌在2025年初就了解到了这些漏洞,并建立了防护措施来消除这些漏洞并帮助预防此类提示恶意软件。
谷歌发言人还告诉我:"与白帽和安全研究人员的积极合作是一个极其积极的发展,导致了富有成效的测试和漏洞搜寻,使AI系统对每个人都更加强大。我们积极参与并重视我们的AI漏洞奖励计划等项目。"
然而,这些漏洞的发现表明了提示恶意软件有多危险,以及AI如何可能被位于最无害地方的提示恶意软件欺骗。这也不是传统病毒软件或防火墙能够检测到的攻击。随着AI变得更加发达,在我们的日常通信中更加普及,与我们的计算机、家居设备和手机连接更加紧密,这就成了一个问题。
我预计网络犯罪分子将密切关注可能不会像这些Gemini失误那样早期被发现的提示恶意软件漏洞,特别是随着Alexa Plus AI继续缓慢推出,苹果也在讨论用Gemini AI功能升级Siri。
**阻止提示恶意软件威胁的5个关键步骤**
如果提示恶意软件/提示注入攻击只是通过让AI读取它就能绕过防御,你如何防护呢?幸运的是,几种安全实践可以提供帮助——在AI时代,这些步骤也能防止其他隐私和安全问题,所以它们对每个人来说都是健康的习惯。
**始终保持设备更新,特别是在AI时代**
更新一直是修补安全漏洞和保持应用更安全的第一道防线。现在,它们为生活在我们手机上的AI功能提供重要更新,这可能包括新的安全功能。
始终将手机的操作系统更新到最新版本,以及你使用的应用程序(AI或其他)。如果设置允许,请启用自动更新。
**不要接受或打开来自未知来源的任何消息**
不是所有的提示恶意软件都是零点击的,有些版本需要你打开或同意某些内容才能将提示插入到AI会读取的地方。通过避免任何你不认识的消息或发送者来防止这种情况。如果可能的话,甚至不要打开它们来了解更多信息——只需删除并继续。
当我联系谷歌时,他们提到的一件事是:"提示注入攻击虽然是AI特有的,但与长期存在的威胁(如邮件中的钓鱼攻击)有着根本的共同点。攻击者将在这两个领域持续探测新的漏洞。"就像钓鱼攻击一样,最好是删除和举报,而不是承担任何风险。
**不要要求AI总结你不了解和不信任的任何内容**
在许多情况下,AI实际上不会读取提示,除非被命令这样做。这可能包括总结邮件或短信、创建日历事件、总结在线文档等。为了避免提示恶意软件,最好避免要求AI总结一堆你可以自己浏览的消息。
**在邮件、日历、聊天应用和其他可以接收消息的地方禁用AI**
提示恶意软件必须来自某个地方,即使它并不总是需要你点击链接。防止它控制连接设备的一种通常有效的方法是确保你选择的AI不会"看到"任何提示。
为此,看看你是否可以在邮件、消息(如短信摘要)和日历等生产力应用中禁用AI功能,以大大降低任何类型的提示恶意软件获得控制权的风险。
如果你可以创建详细设置,你可以将AI切换为仅在提示时才执行操作,这样你仍然可以保留某些好处。这是HITL或人在回路防御,人类必须给AI权限才能行动,这样它就不会自己遇到任何提示恶意软件。
**不要只是复制粘贴邮件主题行、文件名或代码**
提示恶意软件经常隐藏在冗长描述、邮件主题、文件名和代码片段的边缘,你在组织或传输数据时可能会想要复制粘贴。这样可以节省时间,但我建议养成首先检查所有这些标题和描述的习惯,以确保尾部没有隐藏奇怪的命令。
Q&A
Q1:什么是提示恶意软件?它有什么危害?
A:提示恶意软件是一种针对对话式和生成式AI的新型恶意软件,它强制AI读取指令并执行用户不希望的操作。危害从发送垃圾邮件、自动开启陌生人通话等烦人行为,到复制发送个人数据、控制智能家居设备如供暖、灯光甚至智能门锁等危险行为。
Q2:提示恶意软件是如何工作的?
A:提示恶意软件通过在日常消息中隐藏恶意提示来工作,当AI读取这些内容时(比如总结邮件对话),就会执行隐藏的命令。更危险的是,大部分提示恶意软件是"零点击"的,用户不需要点击任何内容,AI只需读取标题或日历消息就可能被激活。
Q3:如何防护提示恶意软件攻击?
A:主要有五个防护步骤:1)保持设备和应用更新;2)不接受或打开未知来源的消息;3)不要求AI总结不了解和不信任的内容;4)在邮件、日历等应用中禁用AI功能;5)不要直接复制粘贴邮件主题、文件名或代码,要先检查是否有隐藏的恶意命令。
好文章,需要你的鼓励
英国研究人员开发出一项名为Fastball的三分钟检测技术,通过脑电图头戴设备分析大脑对图像的识别能力,能够在认知衰退早期发现记忆问题。研究涉及107名参与者,发现该技术可有效识别轻度认知障碍患者的记忆缺陷,比现有诊断工具提前10-20年发现阿尔茨海默病征象。该技术可在家中使用,为早期干预治疗提供可能。
伊斯法罕医科大学研究团队开发出DrugReasoner,这是首个能够像人类专家一样"推理"的药物审批预测AI系统。该系统基于LLaMA架构,不仅能预测新药是否会被批准,更重要的是能详细解释推理过程。在多项测试中表现优异,AUC值达0.732,明显超越传统方法,为制药行业提供了前所未有的透明化决策工具,有望显著提高药物研发效率。
随着智能代理AI的兴起,CIO必须调整IT战略重点、降低新安全风险并为员工重新培训技能。75%的CIO将在AI和机器学习项目上投入更多时间。IT部门需要从管理基础设施转向编排智能化,在每个业务流程中嵌入AI代理。CIO应重新考虑人机协作模式、多学科敏捷团队演进、IT治理职能重新定位,以及培养AI数据质量专家、AI诊断师等新兴角色技能。
这项由南京大学团队开发的FASB技术让AI学会了"察言观色"和"知错能改"。通过实时监控AI内部状态并动态调整干预强度,该方法在多个测试中将AI回答准确率提升了近50%。研究团队创新性地引入了回退机制,让AI能在发现问题时"重新来过",显著提升了回答质量。该技术在教育、客服、内容创作等领域具有广阔应用前景。