微软已经修复了其Copilot AI助手中的一个严重安全漏洞,该漏洞允许黑客通过用户单击一个看似合法的URL链接就能窃取大量敏感用户数据。
这次攻击是由安全公司Varonis的白帽研究人员发现的。他们设计的多阶段攻击能够成功窃取数据,包括目标用户的姓名、位置信息以及用户Copilot聊天历史中的具体事件详情。更令人担忧的是,即使用户关闭了Copilot聊天窗口,攻击仍会继续运行,一旦用户点击了邮件中那个看似合法的Copilot链接,就无需进一步交互。这种攻击和由此产生的数据盗窃绕过了企业终端安全控制和终端保护应用的检测。
攻击机制分析
Varonis安全研究员Dolev Taler向媒体解释说:"一旦我们发送带有恶意提示的链接,用户只需点击链接,恶意任务就会立即执行。即使用户只是点击链接然后立即关闭Copilot聊天标签页,攻击仍然有效。"
攻击的基础URL指向Varonis控制的域名。在末尾附加了一长串详细指令,以q参数的形式存在,Copilot和大多数其他大语言模型都使用这种方式将URL直接输入到用户提示中。当被点击时,该参数会导致Copilot Personal将个人详细信息嵌入到网络请求中。
嵌入为q参数的完整提示内容包含了复杂的伪代码指令,这些指令成功提取了用户秘密信息,并将包含敏感数据的网络请求发送到Varonis控制的服务器。攻击并未就此结束,伪装的图片文件包含进一步的指令,寻求包括目标用户名和位置在内的详细信息。
安全防护机制的缺陷
与大多数大语言模型攻击一样,Varonis攻击的根本原因是无法在用户直接输入的问题或指令与请求中包含的不可信数据之间划定清晰的边界。这导致了间接提示注入攻击,目前没有任何大语言模型能够完全防范这种攻击。微软在这种情况下的对策是在Copilot中构建防护栏,旨在防止其泄露敏感数据。
然而,Varonis发现这些防护栏仅应用于初始请求。由于提示注入指令Copilot重复每个请求,第二次请求成功诱导大语言模型泄露私人数据。后续的间接提示也被重复执行,允许多个阶段的攻击,如前所述,即使目标关闭聊天窗口,攻击也会继续进行。
Taler表示:"微软的防护栏设计不当,他们没有进行威胁建模来理解有人如何利用这种缺陷来泄露数据。"
修复情况
Varonis在周三发布的帖子中披露了这次攻击,其中包括两个演示攻击的短视频,公司研究人员将这种攻击命名为"Reprompt"。该安全公司私下向微软报告了其发现,截至周二,微软已经引入了阻止该攻击的更改。该漏洞仅影响Copilot Personal,Microsoft 365 Copilot不受影响。
Q&A
Q1:什么是Reprompt攻击?它是如何工作的?
A:Reprompt是Varonis研究人员发现的一种针对微软Copilot AI助手的多阶段攻击方法。攻击者通过在合法URL中嵌入恶意提示参数,当用户点击链接时,就会触发Copilot执行恶意指令,窃取用户的姓名、位置和聊天历史等敏感信息。
Q2:为什么微软的安全防护没能阻止这种攻击?
A:微软在Copilot中设置的防护栏只对初始请求生效,但攻击利用了重复请求的机制。第二次请求成功绕过了安全检测,导致大语言模型泄露私人数据。研究人员认为微软没有进行充分的威胁建模来预防这种攻击方式。
Q3:普通用户如何防范类似的AI助手攻击?
A:用户应该谨慎点击来源不明的链接,特别是那些包含复杂参数的URL。同时要及时更新AI助手软件,关注官方安全公告。微软已经修复了这个特定漏洞,但用户仍需保持警惕,因为类似的间接提示注入攻击目前还没有完全的防范方案。
好文章,需要你的鼓励
前OpenAI首席技术官Mira Murati创办的AI初创公司Thinking Machines Lab宣布推出"交互模型"技术。不同于现有AI的轮流对话方式,该模型采用"全双工"技术,能在接收输入的同时生成响应,实现类似真实电话通话的自然交互。其模型TML-Interaction-Small响应速度达0.40秒,优于OpenAI和谷歌同类产品。目前仍处于研究预览阶段,计划数月内开放有限测试,年内正式发布。
香港大学与哈尔滨工业大学联合发布的这项研究(arXiv:2605.06196)发现,大语言模型在扮演不同社会层级角色时,内部神经网络存在一条清晰的"粒度轴",从普通个人视角延伸至全球机构视角。这条轴是AI角色空间的主导几何方向,可被测量、被跨模型复现,并通过激活引导技术加以操控,为AI社会模拟的可信度评估和角色视角的主动调控提供了新工具。
澳大利亚各州及联邦能源部长在近期会议上达成共识,要求数据中心通过投资新建可再生能源和储能设施,完全抵消其电力需求。除昆士兰州外,所有州均支持该提议。联邦能源部长克里斯·鲍文表示,数据中心是新增能源需求的最大驱动力之一,应成为电网的助力而非负担。澳大利亚能源市场委员会将于7月前提交具体实施建议。数据显示,到2030年数据中心用电量预计将增至现在的三倍。
华盛顿大学研究团队发现,在AI数学推理训练中,将随机拼凑的拉丁文占位词(Lorem Ipsum)添加到题目前,能帮助AI突破"全部答错、训练停滞"的困境,在多个模型上平均提升推理得分2.8至6.2分。研究揭示了有效扰动的两个关键特征:使用拉丁语词汇避免语义干扰,以及保持较低困惑度确保AI能正确理解题目内容。