【黑帽亚洲安全大会】AI安全初创公司RunSybil的CEO、同时也是OpenAI首位安全招聘员工的Ari Herbert-Voss在今日于新加坡举办的黑帽亚洲安全大会上表示,开源模型在漏洞发现能力上完全可以媲美Anthropic的Mythos模型。
Herbert-Voss在演讲中指出,Mythos在发现两类漏洞方面表现突出:一类是描述清晰、易于验证的"浅层"漏洞,另一类则是更为复杂的安全漏洞。
他将这一现象归因于"超线性扩展"效应:研究人员此前普遍认为大语言模型的能力会随资源投入线性增长,但最新证据表明,若将训练数据量、算力和训练时间均提升一倍,模型的实际能力可达到原来的四倍。Herbert-Voss还暗示,超线性扩展或许能带来更高的能力倍增效应,但碍于保密协议,他无法透露更多细节。
目前,Anthropic以防止滥用为由,对Mythos的访问权限实施了严格管控。但Herbert-Voss认为,无论是攻击方还是防御方,都可以通过构建"脚手架"框架——即将多个开源模型协同运行——来达到与Mythos相当的效果。这种多模型组合的方式还能增强纵深防御能力,因为不同模型往往能够捕捉到不同类型的缺陷,有效弥补单一模型的盲区。
成本因素同样不容忽视。Mythos的构建和运行成本极为高昂,且可能永远不会对外公开,这使得开源替代方案对众多机构而言不仅可行,甚至是必要之选。
Herbert-Voss强调,在编排多个开源模型以达到Mythos级别的性能、以及评估AI生成的漏洞报告方面,人类专家的介入依然不可或缺。
他还提到,模糊测试(Fuzzing)这一通过向软件注入随机或近随机数据来触发漏洞的测试技术,本身就会产生大量告警,反而给人工处理带来额外负担。AI漏洞挖掘工具目前已经出现了同样的问题,他预计这一状况短期内难以改变。
因此,Herbert-Voss认为,信息安全从业者在可预见的未来将持续面临大量工作。同时,使用AI的经济驱动力——毕竟需要有人使用这些服务来支撑背后庞大的GPU和数据中心投入——将成为推动安全团队拥抱AI的强制性因素,并最终提升其主动防御和安全防护能力。
Q&A
Q1:什么是"超线性扩展"?它对大语言模型漏洞发现有何影响?
A:超线性扩展是指大语言模型的能力增长并非与资源投入成线性比例,而是呈现出更高的倍增效应。据Herbert-Voss介绍,若将训练数据量、算力和训练时间均提升一倍,模型的实际能力可达到原来的四倍,而非两倍。这意味着经过充分训练的大语言模型在漏洞发现上能展现出远超预期的强大能力,这也是Mythos等模型表现出色的重要原因之一。
Q2:开源模型如何实现与Mythos相当的漏洞挖掘效果?
A:根据Herbert-Voss的介绍,关键在于构建"脚手架"框架,将多个开源模型协同运行。不同的开源模型往往能够捕捉到不同类型的安全缺陷,多模型组合使用可以有效弥补单一模型的盲区,从而在整体上达到甚至接近Mythos的漏洞发现水平。此外,这种方式还能增强纵深防御能力,同时在成本上远低于使用Mythos。
Q3:AI漏洞挖掘工具会不会完全取代信息安全从业者?
A:短期内不会。Herbert-Voss明确表示,人类专家在两个环节中仍不可替代:一是编排多个AI模型协同工作以达到理想效果;二是对AI生成的漏洞报告进行评估与筛选。此外,AI工具与模糊测试类似,会产生大量告警,反而需要人工进行甄别处理,因此信息安全从业者在可预见的未来仍将有大量工作需要完成。
好文章,需要你的鼓励
无人机食品配送服务商Flytrex与全球知名披萨连锁品牌Little Caesars宣布合作,推出全新Sky2无人机,最大载重达4公斤,可一次配送两个大披萨及饮料,满足全家用餐需求。Sky2支持最远6.4公里的配送范围,平均从起飞到送达仅需4.5分钟。首个试点门店已在德克萨斯州怀利市上线,并实现与Little Caesars订单系统的直接集成。
FORTIS是专门测量AI代理"越权行为"的基准测试,研究发现十款顶尖模型普遍选择远超任务需要的高权限技能,端到端成功率最高仅14.3%。
法国社会住房项目ViliaSprint?已正式完工,成为欧洲最大的3D打印多户住宅建筑,共12套公寓,建筑面积800平方米。项目由PERI 3D Construction使用COBOD BOD2打印机完成,整体工期较传统建造缩短3个月,实际打印仅用34天(原计划50天),现场操作人员从6人减至3人,建筑废料率从10%降至5%。建筑采用可打印混凝土,集成光伏板及热泵系统,能源自给率约达60%。
荷兰Nebius团队提出SlimSpec,通过低秩分解压缩草稿模型LM-Head的内部表示而非裁剪词汇,在保留完整词汇表的同时将LM-Head计算时间压缩至原来的五分之一,端到端推理速度超越现有方法最高达9%。