你可能已经听说过利用AI技术克隆熟人语音的诈骗电话。通常,这些攻击会伪造听起来像是你认识多年的孙辈、CEO或同事的声音,声称遇到紧急情况需要立即行动,要求汇款、透露登录凭据或访问恶意网站。
研究人员和政府官员多年来一直在警告这种威胁。网络安全和基础设施安全局在2023年表示,来自深度伪造和其他合成媒体形式的威胁已经"呈指数级增长"。去年,谷歌Mandiant安全部门报告称,此类攻击正在以"不可思议的精确度"执行,创造出更加逼真的钓鱼计划。
深度伪造诈骗电话的基本步骤包括:
首先,收集将被模仿者的语音样本。短至3秒的样本有时就足够了,这些样本可以来自视频、在线会议或之前的语音通话。
然后将样本输入基于AI的语音合成引擎,如谷歌的Tacotron 2、微软的Vall-E,或来自ElevenLabs和Resemble AI的服务。这些引擎允许攻击者使用文字转语音界面,用被模仿者的语调和对话习惯产生用户选择的词语。
可选步骤是伪造被模仿的个人或组织的电话号码,这种技术已经使用了几十年。
接下来,攻击者发起诈骗电话。在某些情况下,克隆的语音会遵循脚本。在其他更复杂的攻击中,虚假语音是实时生成的,使用语音掩蔽或转换软件。实时攻击可能更具说服力,因为它们允许攻击者回应怀疑接收者可能提出的问题。
Group-IB表示:"尽管开源项目和商业API已经展示了实时模仿技术,但实时深度伪造语音诈骗在现实中仍然有限。然而,考虑到处理速度和模型效率的持续进步,预计实时使用在不久的将来会变得更加常见。"
无论哪种情况,攻击者都会使用虚假语音为需要接收者立即采取行动制造借口。叙述可能模拟孙女入狱急需保释金、CEO指示应付账款部门某人汇款支付逾期费用,或IT人员指示员工在所谓的数据泄露后重置密码。
最后收集现金、被盗凭据或其他资产。通常,一旦采取行动,就无法逆转。
Mandiant的案例显示,其安全团队成员在模拟红队演习中执行此类诈骗的相对容易程度。红队成员收集了目标组织内某位管理者的公开语音样本,然后使用公开信息识别最可能在该被伪造者手下工作的员工并致电他们。为了让通话更有说服力,他们利用VPN服务的真实故障作为员工立即采取行动的借口。
"由于对电话中语音的信任,受害者绕过了Microsoft Edge和Windows Defender SmartScreen的安全提示,在不知情的情况下将预先准备的恶意载荷下载并执行到他们的工作站上,"Mandiant说。"载荷的成功引爆标志着演习的完成,展示了AI语音欺骗促进组织入侵的惊人容易程度。"
防止此类诈骗成功的预防措施可以很简单,比如双方约定一个随机选择的词语或短语,呼叫者必须在接收者遵从请求之前提供。接收者也可以结束通话,用已知属于呼叫者的号码回拨。但最好是遵循这两个步骤。
这两种预防措施都要求接收者保持冷静和警觉,尽管如果伪造的场景是真实的,会产生合理的紧迫感。当接收者疲劳、过度劳累或其他状态不佳时,这可能更加困难。因此,无论是否启用AI技术,所谓的语音钓鱼攻击在短期内都不太可能消失。
Q&A
Q1:AI语音深度伪造诈骗需要多长的语音样本?
A:根据安全公司Group-IB的研究,进行AI语音深度伪造诈骗时,短至3秒的语音样本有时就足够了。这些样本可以来自视频、在线会议或之前的语音通话,然后被输入到AI语音合成引擎中进行克隆。
Q2:如何防范AI语音深度伪造诈骗电话?
A:防范措施包括:双方事先约定随机选择的词语或短语,呼叫者必须提供这个暗号;接收者可以结束通话后用已知的真实号码回拨确认;最好同时采用这两种方法。关键是要保持冷静警觉,不被紧急情况的假象迷惑。
Q3:实时AI语音伪造技术目前普及程度如何?
A:根据Group-IB的报告,尽管开源项目和商业API已经展示了实时语音模仿技术,但实时深度伪造语音诈骗在现实中仍然有限。不过,随着处理速度和模型效率的持续进步,预计实时使用在不久的将来会变得更加常见。
好文章,需要你的鼓励
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
这项由香港中文大学和AWS团队联合开发的研究推出了TALK2MOVE系统,实现了用自然语言精准操作图片中物体的位置、角度和大小。该系统采用强化学习训练方式,通过空间感知奖励机制和智能步骤采样技术,在移动、旋转、缩放三类操作上的准确率显著超越现有方法,同时大幅降低了对昂贵训练数据的依赖,为AI图像编辑领域带来重要突破。
研究人员对Claude、GPT-4、Gemini和Grok等商用AI模型进行测试,发现这些模型能够记忆并完整输出受版权保护的内容。其中越狱后的Claude 3.7 Sonnet能输出95.8%的《哈利波特与魔法石》内容,而Gemini和Grok在无需越狱情况下也能输出超过70%的内容。这一发现可能对正在进行的AI版权诉讼产生重要影响,目前多家AI公司面临超过60项相关法律诉讼。
斯坦福大学等知名机构联合研究发现,企业AI助手在执行组织政策时存在严重"偏科"问题:处理允许请求时成功率超95%,但拒绝违规请求时仅13-40%。研究团队开发的COMPASS评估框架通过8个行业5920个测试问题,揭示了AI助手普遍缺乏"拒绝技能"的问题,并提出了针对性训练解决方案。