周三,AI安全公司Irregular宣布获得8000万美元新一轮融资,由红杉资本和Redpoint Ventures领投,Wiz首席执行官Assaf Rappaport参投。据接近交易的消息人士透露,此轮融资对Irregular的估值为4.5亿美元。
"我们认为,很快大量经济活动将来自人与AI的交互以及AI与AI之间的交互,"联合创始人Dan Lahav告诉TechCrunch,"这将在多个层面打破现有的安全体系。"
Irregular前身为Pattern Labs,已经是AI评估领域的重要参与者。该公司的研究成果被引用于Claude 3.7 Sonnet以及OpenAI的o3和o4-mini模型的安全评估中。更广泛地说,该公司用于评估模型漏洞检测能力的框架(名为SOLVE)在行业内得到广泛应用。
虽然Irregular在现有模型风险方面已做了大量工作,但公司此次融资的目标更加宏大:在新兴风险和行为在现实中出现之前就能发现它们。公司构建了一套复杂的模拟环境系统,能够在模型发布前进行深入测试。
"我们建立了复杂的网络模拟环境,让AI同时扮演攻击者和防御者的角色,"联合创始人Omer Nevo说道。"所以当新模型出现时,我们可以看到防御在哪些方面有效,在哪些方面失效。"
随着前沿模型带来的潜在风险不断显现,安全已成为AI行业高度关注的焦点。OpenAI在今年夏天全面改革了内部安全措施,以防范潜在的企业间谍活动。
与此同时,AI模型在发现软件漏洞方面的能力越来越强——这种能力对攻击者和防御者都具有重大意义。
对于Irregular的创始人来说,这只是大语言模型能力不断增强所带来的众多安全挑战中的第一个。
"如果前沿实验室的目标是创造越来越复杂和强大的模型,那么我们的目标就是确保这些模型的安全,"Lahav说道。"但这是一个移动的目标,所以未来本质上还有更多、更多、更多的工作要做。"
Q&A
Q1:Irregular是什么公司?主要做什么业务?
A:Irregular是一家AI安全公司,前身为Pattern Labs,专注于AI模型的安全评估和防护。该公司已是AI评估领域的重要参与者,其研究成果被引用于多个知名模型的安全评估中,并开发了广泛应用的漏洞检测能力评估框架SOLVE。
Q2:Irregular如何测试AI模型的安全性?
A:Irregular构建了复杂的模拟环境系统,能够在模型发布前进行深入测试。他们建立了复杂的网络模拟环境,让AI同时扮演攻击者和防御者的角色,通过这种方式测试新模型的防御能力,发现潜在的安全漏洞和风险。
Q3:为什么AI安全变得如此重要?
A:随着前沿AI模型能力不断增强,带来的潜在风险也在不断显现。AI模型在发现软件漏洞方面越来越强,这对攻击者和防御者都具有重大意义。未来大量经济活动将涉及人与AI以及AI之间的交互,这将在多个层面对现有安全体系构成挑战。
好文章,需要你的鼓励
美国能源部与英伟达、甲骨文合作建造7台新型AI超级计算机,用于加速科学研究和开发智能AI。其中位于阿贡国家实验室的两套系统将组成能源部最大的AI超算基础设施。Solstice系统配备10万颗Blackwell GPU,与Equinox系统互联后总计算性能达2200 exaFLOPs。此外还宣布了与Palantir的合作以及洛斯阿拉莫斯实验室的新系统计划。
Character AI联合耶鲁大学开发的OVI系统实现了音视频的统一生成,通过"孪生塔"架构让音频和视频从生成之初就完美同步。该系统在5秒高清内容生成上显著超越现有方法,为多模态AI和内容创作领域带来突破性进展。
Cloudian宣布其超大规模AI数据平台软件可在AWS本地区域运行,为客户提供单位数毫秒级的对象数据访问延迟。该平台主要面向企业文档检索增强生成应用,支持AI代理理解和推理存储在S3兼容格式中的完整文档库。通过结合高性能存储与AWS GPU边缘基础设施,企业可在毫秒级响应时间内运行复杂RAG应用,无需前期投资。平台集成矢量数据库,可自动摄取、嵌入和索引多模态内容。
这项由南洋理工大学研究团队开发的DragFlow技术,首次实现了在先进AI模型FLUX上的高质量区域级图像编辑。通过创新的区域监督、硬约束背景保护和适配器增强等技术,将传统点对点编辑升级为更自然的区域编辑模式,在多项基准测试中显著超越现有方法,为图像编辑技术带来革命性突破。