网络安全行业在讨论AI威胁时,往往聚焦于黑客如何借助AI更快分析漏洞、打造更强大的恶意软件。然而,一份最新报告指出,AI对企业高管的逼真模拟冒充,正在产生同样深远的影响。
安全公司Outtake于6月4日发布报告显示,今年已有超过半数(53%)的企业遭遇过针对高管或普通员工的身份冒充攻击。与此同时,报告发现,四分之三的受访者仅对冒充行为进行有限监控,或只在攻击发生后才被动应对。
Outtake在这份基于逾1100名网络安全和风险管理领导者调查的报告中指出,AI生成逼真虚假媒体内容的能力,已为企业防范身份冒充攻击开辟了"第二战场"。
报告显示,近半数(47%)的企业"已遭遇经确认或疑似的合成媒体高管或品牌代表冒充事件"。此外,企业普遍将AI生成攻击视为其冒充防范策略中最难感知的盲区。
报告指出:"人员是暴露程度最高、防护最为薄弱的攻击面。"数据显示,仅有43%的企业会针对高管开展身份欺骗模拟演练,以识别最大的潜在冒充风险。
在智能体技术层面,企业的AI威胁应对能力同样不容乐观。Outtake表示,企业在监管和保护这些智能体方面普遍存在不足,这放大了智能体劫持攻击的风险,可能对企业声誉和财务造成损害。调查显示,仅有4%的企业表示能够对其AI智能体实施全面监控和管控。
报告列举了一个典型案例:财务部门的AI智能体收到一封看似无害的付款查询邮件,邮件中暗藏指令代码,可覆盖智能体的原有程序设定,迫使其向不受信任的第三方泄露信息。
对此,Outtake指出:"该智能体现在站在了一道新的信任边界上:一只脚踏在不可信的外部世界,另一只脚立于可信的内部系统之中。一条植入的指令,就此跨越了两者之间的边界。"
治理碎片化是企业普遍存在的另一重大隐患。报告发现,21%的企业没有任何专属团队负责评估和管理数字信任风险;18%的企业由安全运营中心承担这一职责;13%由欺诈与安全团队负责;11%由威胁情报团队负责。超过60%的企业将自身的数字信任风险管理工作描述为分散割裂、各自为政。
Q&A
Q1:什么是合成媒体高管冒充攻击?
A:合成媒体高管冒充攻击是指利用AI技术生成虚假的音视频或图像内容,模拟企业高管或品牌代表的面貌与声音,从而实施欺诈。根据Outtake报告,近47%的企业已遭遇此类经确认或疑似的攻击事件。这类攻击因高度逼真,极难通过传统手段识别,已成为企业身份防护策略中最难感知的盲区之一。
Q2:AI智能体劫持攻击是怎么发生的?
A:AI智能体劫持攻击通常通过在看似正常的邮件或请求中植入隐藏指令来实现。以报告中的案例为例,财务部门的AI智能体收到含有隐藏代码的付款查询邮件,该代码可覆盖智能体原有程序,强制其将敏感信息发送给不受信任的第三方。目前仅有4%的企业对AI智能体实施了全面监控,大多数企业面临较高风险。
Q3:企业在数字信任风险管理方面存在哪些主要问题?
A:根据Outtake报告,企业数字信任风险管理的主要问题在于治理碎片化。21%的企业没有专属团队负责该职责,其余企业则分散由安全运营中心、欺诈团队或威胁情报团队各自承担。超过60%的企业承认其风险管理活动处于分散割裂、各自为政的状态,缺乏统一协调,难以形成有效的整体防御能力。
好文章,需要你的鼓励
2025年1月,OpenAI、软银、甲骨文和MGX联合宣布"星际之门"计划,承诺投资5000亿美元,部署高达10GW算力基础设施。如今,该项目已从白宫发布会上的宏大承诺,演变为一场前所未有规模的基础设施建设实验。项目已扩展至德克萨斯、威斯康星、俄亥俄等多地,并延伸至阿布扎比和挪威。然而,融资争议、合作伙伴摩擦、能源压力及政策监管收紧,正考验着这一"AI工业园"模式能否真正落地。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
加密货币交易所OKX正式推出AI智能体交易市场OKX AI,允许AI代理相互雇佣、自主结算,并建立基于区块链的可携带信誉档案。该平台经过50家早期服务商封测后向开发者开放,依托稳定币和链上支付基础设施,支持全天候微支付。OKX创始人徐明星表示,传统金融基础设施为人类而建,智能体经济需要为自主软件专门设计的基础设施。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。