2024年3月,多位 YouTube 内容创作者似乎收到了来自平台 CEO Neal Mohan 的私人视频。然而事实证明,视频中的并非 Mohan 本人,而是诈骗者制作的 AI 生成版本,目的是窃取凭证并安装恶意软件。这让人想起最近其他备受关注的 AI 诈骗案例。去年,诈骗者利用 AI 模仿拜登总统的声音,通过自动电话呼叫劝说人们不要参加初选投票。
这类深度伪造(视频和音频)的案例在新闻中频繁出现。非营利组织消费者报告评测了六款语音克隆应用,发现其中四款应用没有有效的防护措施来阻止用户在未经同意的情况下克隆他人声音。
高管往往是公司的公众形象和发言人,CEO、CIO 和其他 C 级高管的音视频资料在网上随处可见。对此,CIO 和其他企业技术领导者应该对语音克隆和其他深度伪造技术有多担忧?
缺乏防护措施
据消费者报告评测,ElevenLabs、Lovo、PlayHT 和 Speechify 这四款应用仅要求用户勾选确认框,表明他们拥有使用语音克隆功能的合法权利。而 Descript 和 Resemble AI 在同意机制上更进一步,要求用户阅读并录制同意声明。
防止这些应用被滥用的门槛相当低。即使是需要用户阅读声明的应用,也可能被其他平台上未经授权的语音克隆音频所操纵。
用户不仅可以使用许多现成的应用来未经授权地克隆他人声音,而且无需技术背景。Reality Defender 公司联合创始人兼 CEO Ben Colman 表示:"不需要计算机背景,不需要硕士学位,不需要编程,只要在手机应用商店或 Google 搜索'语音克隆'或'深度伪造人脸生成器',就能找到数千种可供诈骗者使用的工具。"
Colman 还指出,计算成本在过去几个月内大幅下降。"一年前还需要云计算,现在用普通笔记本电脑或手机就能完成。"
防范欺诈
防范语音克隆最明显的前线防御是限制分享个人数据,如声纹。但对于企业领导者来说,这是一个挑战。"他们不应该分享个人数据、声音或面部信息,但对 CEO 来说这很困难。比如我就经常出现在 YouTube 和新闻中,这是经营业务的必要成本,"Colman 说。
CIO 必须在数字世界的现实中运作,知道企业领导者的公开音频资料可能被诈骗者用来克隆声音并用于不法目的。
BairesDev 的 CTO Justice Erolin 说:"AI 语音克隆不是未来的风险,而是当前就存在的威胁。我建议像对待其他网络威胁一样处理:采用强大的身份认证。"仅依靠语音认证是有风险的,采用多因素认证可以降低这种风险。
检测的前景
检测是对抗语音克隆的重要工具。Colman 将深度伪造检测工具的发展比作防病毒扫描的发展历程。他预计在未来一年内,检测功能将完全迁移到设备端。检测工具可以集成到手机、电脑和视频会议平台中,以检测音频和视频是否被 AI 生成或篡改。
就像任何其他网络安全问题一样,威胁行为者的深度伪造能力与防御者的检测能力之间将会展开拉锯战。CIO 和其他安全领导者将面临实施安全防护措施并评估这些能力以对抗诈骗者的挑战。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。