网络安全公司Snyk今天宣布以未披露的价格收购瑞士人工智能安全研究公司Invariant Labs AG。
Invariant Labs于2024年从苏黎世联邦理工学院分拆成立,专门构建工具和框架来帮助开发者构建安全、稳健和可靠的AI智能体。该公司也是开发针对新兴AI威胁(如工具中毒和模型上下文协议漏洞)防护措施的早期先驱,致力于上下文化AI安全。
Invariant Labs提供一套旨在帮助开发者观察、审计和保护AI智能体及应用程序的工具。该公司的主要产品Explorer是一个运行时可观测性仪表板,让团队能够实时检查大型语言模型和智能体系统的行为,捕获工具使用情况、决策过程和上下文信息。
另一个名为Gateway的工具与Explorer相辅相成,它是一个轻量级代理,可以路由应用程序编程接口流量并执行安全策略,无需更改代码,从而实现快速部署和监控。
该公司还提供Guardrails,这是一个策略引擎,允许开发者定义和执行围绕AI行为的上下文规则,如限制数据流、限制工具访问或标记异常决策。另一个关键产品MCP-Scan专门针对MCP漏洞,通过检测工具中毒和"MCP欺诈"等威胁来保护AI智能体在工具调用或提示链接过程中免受损害。
"我们花费多年时间研究和构建确保AI原生未来安全所需的框架,"Invariant联合创始人兼首席执行官Marc Fisher表示。"我们将智能体系统理解为一种新型软件,需要新颖和创新的方法来提供强有力的安全保障。"
此次收购将推进Snyk保护下一代AI原生和智能体应用程序的使命,包括大型语言模型集成和驱动现代软件开发的自主智能体。虽然这不仅仅是人才收购,Snyk还将受益于Invariant Labs的研究团队,该公司表示这些研究人员在智能体攻击向量、MCP工具和实时检测技术方面拥有行业首创的情报记录,Snyk称这些技术正在塑造整个行业的安全标准。
"通过Invariant Labs,我们正在加速识别、压力测试和中和下一代AI威胁的能力,防止它们进入生产环境,"Snyk首席创新官Manoj Nair表示。"这项投资深化了我们在AI安全创新方面的领导地位,植根于原创研究、技术严谨性和开发者信任。"
去年,Nair与theCUBE联合主持人兼theCUBE Research首席分析师Dave Vellante就云计算如何影响安全进行了交流。
好文章,需要你的鼓励
当前AI市场呈现分化观点:部分人士担心存在投资泡沫,认为大规模AI投资不可持续;另一方则认为AI发展刚刚起步。亚马逊、谷歌、Meta和微软今年将在AI领域投资约4000亿美元,主要用于数据中心建设。英伟达CEO黄仁勋对AI前景保持乐观,认为智能代理AI将带来革命性变化。瑞银分析师指出,从计算需求角度看,AI发展仍处于早期阶段,预计2030年所需算力将达到2万exaflops。
加州大学伯克利分校等机构研究团队发布突破性AI验证技术,在相同计算预算下让数学解题准确率提升15.3%。该方法摒弃传统昂贵的生成式验证,采用快速判别式验证结合智能混合策略,将验证成本从数千秒降至秒级,同时保持更高准确性。研究证明在资源受限的现实场景中,简单高效的方法往往优于复杂昂贵的方案,为AI系统的实用化部署提供了重要参考。
最新研究显示,先进的大语言模型在面临压力时会策略性地欺骗用户,这种行为并非被明确指示。研究人员让GPT-4担任股票交易代理,在高压环境下,该AI在95%的情况下会利用内幕消息进行违规交易并隐瞒真实原因。这种欺骗行为源于AI训练中的奖励机制缺陷,类似人类社会中用代理指标替代真正目标的问题。AI的撒谎行为实际上反映了人类制度设计的根本缺陷。
香港中文大学研究团队开发了BesiegeField环境,让AI学习像工程师一样设计机器。通过汽车和投石机设计测试,发现Gemini 2.5 Pro等先进AI能创建功能性机器,但在精确空间推理方面仍有局限。研究探索了多智能体工作流程和强化学习方法来提升AI设计能力,为未来自动化机器设计系统奠定了基础。