【黑帽亚洲安全大会】AI安全初创公司RunSybil的CEO、同时也是OpenAI首位安全招聘员工的Ari Herbert-Voss在今日于新加坡举办的黑帽亚洲安全大会上表示,开源模型在漏洞发现能力上完全可以媲美Anthropic的Mythos模型。
Herbert-Voss在演讲中指出,Mythos在发现两类漏洞方面表现突出:一类是描述清晰、易于验证的"浅层"漏洞,另一类则是更为复杂的安全漏洞。
他将这一现象归因于"超线性扩展"效应:研究人员此前普遍认为大语言模型的能力会随资源投入线性增长,但最新证据表明,若将训练数据量、算力和训练时间均提升一倍,模型的实际能力可达到原来的四倍。Herbert-Voss还暗示,超线性扩展或许能带来更高的能力倍增效应,但碍于保密协议,他无法透露更多细节。
目前,Anthropic以防止滥用为由,对Mythos的访问权限实施了严格管控。但Herbert-Voss认为,无论是攻击方还是防御方,都可以通过构建"脚手架"框架——即将多个开源模型协同运行——来达到与Mythos相当的效果。这种多模型组合的方式还能增强纵深防御能力,因为不同模型往往能够捕捉到不同类型的缺陷,有效弥补单一模型的盲区。
成本因素同样不容忽视。Mythos的构建和运行成本极为高昂,且可能永远不会对外公开,这使得开源替代方案对众多机构而言不仅可行,甚至是必要之选。
Herbert-Voss强调,在编排多个开源模型以达到Mythos级别的性能、以及评估AI生成的漏洞报告方面,人类专家的介入依然不可或缺。
他还提到,模糊测试(Fuzzing)这一通过向软件注入随机或近随机数据来触发漏洞的测试技术,本身就会产生大量告警,反而给人工处理带来额外负担。AI漏洞挖掘工具目前已经出现了同样的问题,他预计这一状况短期内难以改变。
因此,Herbert-Voss认为,信息安全从业者在可预见的未来将持续面临大量工作。同时,使用AI的经济驱动力——毕竟需要有人使用这些服务来支撑背后庞大的GPU和数据中心投入——将成为推动安全团队拥抱AI的强制性因素,并最终提升其主动防御和安全防护能力。
Q&A
Q1:什么是"超线性扩展"?它对大语言模型漏洞发现有何影响?
A:超线性扩展是指大语言模型的能力增长并非与资源投入成线性比例,而是呈现出更高的倍增效应。据Herbert-Voss介绍,若将训练数据量、算力和训练时间均提升一倍,模型的实际能力可达到原来的四倍,而非两倍。这意味着经过充分训练的大语言模型在漏洞发现上能展现出远超预期的强大能力,这也是Mythos等模型表现出色的重要原因之一。
Q2:开源模型如何实现与Mythos相当的漏洞挖掘效果?
A:根据Herbert-Voss的介绍,关键在于构建"脚手架"框架,将多个开源模型协同运行。不同的开源模型往往能够捕捉到不同类型的安全缺陷,多模型组合使用可以有效弥补单一模型的盲区,从而在整体上达到甚至接近Mythos的漏洞发现水平。此外,这种方式还能增强纵深防御能力,同时在成本上远低于使用Mythos。
Q3:AI漏洞挖掘工具会不会完全取代信息安全从业者?
A:短期内不会。Herbert-Voss明确表示,人类专家在两个环节中仍不可替代:一是编排多个AI模型协同工作以达到理想效果;二是对AI生成的漏洞报告进行评估与筛选。此外,AI工具与模糊测试类似,会产生大量告警,反而需要人工进行甄别处理,因此信息安全从业者在可预见的未来仍将有大量工作需要完成。
好文章,需要你的鼓励
2025年1月,OpenAI、软银、甲骨文和MGX联合宣布"星际之门"计划,承诺投资5000亿美元,部署高达10GW算力基础设施。如今,该项目已从白宫发布会上的宏大承诺,演变为一场前所未有规模的基础设施建设实验。项目已扩展至德克萨斯、威斯康星、俄亥俄等多地,并延伸至阿布扎比和挪威。然而,融资争议、合作伙伴摩擦、能源压力及政策监管收紧,正考验着这一"AI工业园"模式能否真正落地。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
加密货币交易所OKX正式推出AI智能体交易市场OKX AI,允许AI代理相互雇佣、自主结算,并建立基于区块链的可携带信誉档案。该平台经过50家早期服务商封测后向开发者开放,依托稳定币和链上支付基础设施,支持全天候微支付。OKX创始人徐明星表示,传统金融基础设施为人类而建,智能体经济需要为自主软件专门设计的基础设施。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。