【黑帽亚洲安全大会】AI安全初创公司RunSybil的CEO、同时也是OpenAI首位安全招聘员工的Ari Herbert-Voss在今日于新加坡举办的黑帽亚洲安全大会上表示,开源模型在漏洞发现能力上完全可以媲美Anthropic的Mythos模型。
Herbert-Voss在演讲中指出,Mythos在发现两类漏洞方面表现突出:一类是描述清晰、易于验证的"浅层"漏洞,另一类则是更为复杂的安全漏洞。
他将这一现象归因于"超线性扩展"效应:研究人员此前普遍认为大语言模型的能力会随资源投入线性增长,但最新证据表明,若将训练数据量、算力和训练时间均提升一倍,模型的实际能力可达到原来的四倍。Herbert-Voss还暗示,超线性扩展或许能带来更高的能力倍增效应,但碍于保密协议,他无法透露更多细节。
目前,Anthropic以防止滥用为由,对Mythos的访问权限实施了严格管控。但Herbert-Voss认为,无论是攻击方还是防御方,都可以通过构建"脚手架"框架——即将多个开源模型协同运行——来达到与Mythos相当的效果。这种多模型组合的方式还能增强纵深防御能力,因为不同模型往往能够捕捉到不同类型的缺陷,有效弥补单一模型的盲区。
成本因素同样不容忽视。Mythos的构建和运行成本极为高昂,且可能永远不会对外公开,这使得开源替代方案对众多机构而言不仅可行,甚至是必要之选。
Herbert-Voss强调,在编排多个开源模型以达到Mythos级别的性能、以及评估AI生成的漏洞报告方面,人类专家的介入依然不可或缺。
他还提到,模糊测试(Fuzzing)这一通过向软件注入随机或近随机数据来触发漏洞的测试技术,本身就会产生大量告警,反而给人工处理带来额外负担。AI漏洞挖掘工具目前已经出现了同样的问题,他预计这一状况短期内难以改变。
因此,Herbert-Voss认为,信息安全从业者在可预见的未来将持续面临大量工作。同时,使用AI的经济驱动力——毕竟需要有人使用这些服务来支撑背后庞大的GPU和数据中心投入——将成为推动安全团队拥抱AI的强制性因素,并最终提升其主动防御和安全防护能力。
Q&A
Q1:什么是"超线性扩展"?它对大语言模型漏洞发现有何影响?
A:超线性扩展是指大语言模型的能力增长并非与资源投入成线性比例,而是呈现出更高的倍增效应。据Herbert-Voss介绍,若将训练数据量、算力和训练时间均提升一倍,模型的实际能力可达到原来的四倍,而非两倍。这意味着经过充分训练的大语言模型在漏洞发现上能展现出远超预期的强大能力,这也是Mythos等模型表现出色的重要原因之一。
Q2:开源模型如何实现与Mythos相当的漏洞挖掘效果?
A:根据Herbert-Voss的介绍,关键在于构建"脚手架"框架,将多个开源模型协同运行。不同的开源模型往往能够捕捉到不同类型的安全缺陷,多模型组合使用可以有效弥补单一模型的盲区,从而在整体上达到甚至接近Mythos的漏洞发现水平。此外,这种方式还能增强纵深防御能力,同时在成本上远低于使用Mythos。
Q3:AI漏洞挖掘工具会不会完全取代信息安全从业者?
A:短期内不会。Herbert-Voss明确表示,人类专家在两个环节中仍不可替代:一是编排多个AI模型协同工作以达到理想效果;二是对AI生成的漏洞报告进行评估与筛选。此外,AI工具与模糊测试类似,会产生大量告警,反而需要人工进行甄别处理,因此信息安全从业者在可预见的未来仍将有大量工作需要完成。
好文章,需要你的鼓励
大众汽车旗下ID. Polo与Cupra Raval已在西班牙马托雷尔工厂正式下线投产。两款车型起售价分别为24,995欧元和26,000欧元,均基于MEB+平台打造,搭载37kWh或52kWh电池组,续航里程最高可达454公里。这是大众"电动城市车家族"系列的首批产品,预计今年夏末秋初开始交付。大众集团通过跨品牌资源整合,实现约6亿欧元的成本节约,后续还将推出ID. Cross等新成员。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
三星宣布将于6月8日起为Samsung Health应用推出重磅功能更新,赶在Galaxy Watch 9传闻发布之前落地。新版本将引入多项AI驱动的生物特征分析功能,包括:综合心率、血氧、皮肤温度等数据的每日活力评分(Vitals)、结合体成分数据评估长期心脏健康的心脏健康评分、优化训练强度的每日有氧负荷追踪,以及横向对比用户群体的健身指数。此外,应用界面将重新划分为睡眠、营养、活动、正念和体征五大板块,并新增抗氧化指数、年龄指数和听力保护等个性化功能。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。