随着人工智能在各行各业的应用加速普及,与 AI 应用相关的安全风险正成为企业的重要关注点。为此,Cisco 推出了 AI Defense 安全解决方案,旨在通过整合企业网络和云环境中的可视性、验证和执行能力,帮助组织确保其 AI 部署的安全性。
在企业寻求将 AI 整合到运营中时,AI 安全性正成为重中之重。Cisco 执行副总裁兼首席产品官 Jeetu Patel 表示,企业普遍认识到 AI 安全是企业采用 AI 的关键因素。
"我们从客户那里听到一个普遍的担忧:如果这些系统出现偏差,不按预期运行怎么办?我们如何防止应用程序被提示注入攻击所破坏或被操纵泄露敏感数据?"Patel 说道。
企业 AI 部署面临的安全挑战
AI 模型会随着新数据的训练而不断演变,其运行方式难以预测。这带来了包括模型操纵、提示注入攻击和数据泄露等安全风险。此外,AI 安全还缺乏类似网络安全领域常见漏洞和暴露数据库那样的标准化框架。
Cisco AI Defense 致力于解决的问题之一是 AI 模型验证。如果被攻击,AI 系统可能会产生意外或有害的输出,因此持续的安全监控至关重要。
"典型的模型提供商需要 7-10 周时间来手动验证一个 AI 模型。我们通过运行数万亿次自动化测试查询,在 30 秒内就能完成验证——比任何人工方法都更快地检测出偏差、漏洞和潜在的攻击点。"Patel 解释道。
这种方法类似于网络安全中的模糊测试,旨在在攻击者利用漏洞之前发现它们。
Cisco AI Defense 的主要特点
Cisco AI Defense 旨在实现 AI 工作流程的安全整合。该解决方案主要在三个层面运作:
可视性和监控 - 识别企业中使用的 AI 应用 - 绘制 AI 模型、数据源和应用程序之间的交互图 - 持续监控异常或未授权使用
验证和 AI 红队测试 - 使用算法红队测试——自动化 AI 测试——识别安全风险 - 检测偏见、有害内容和潜在攻击向量等问题 - 相比手动测试方法大幅缩短模型验证时间
执行和防护机制 - 应用安全策略防止 AI 滥用 - 实施自动化控制限制未授权模型访问 - 扩展到 Cisco 现有安全架构的安全执行
Cisco 表示,AI Defense 将与其更广泛的安全平台集成,使组织能够在其网络、云和终端基础设施中应用 AI 安全策略。
与安全和网络平台的集成
与独立的 AI 安全工具不同,Cisco AI Defense 将作为其现有安全产品组合的一部分运行。该公司表示,该解决方案将扩展到 Cisco 安全访问、安全防火墙和网络基础设施,以提供多层级的策略执行。
"如果 AI 安全被构建在网络结构中,执行不仅发生在软件层面,还发生在基础设施层面。这是关键优势,"Patel 指出。
据 Cisco 称,这种方法允许组织在应用程序和网络层面同时应用 AI 安全,降低管理 AI 特定安全风险的复杂性。
应对更广泛的 AI 安全挑战
Cisco 的公告突显了一个更广泛的行业挑战:AI 安全仍是一个新兴领域,缺乏通用的威胁检测和缓解框架。最近的事件引发了对 AI 滥用的担忧,比如有人使用生成式 AI 模型生成有害内容或协助实施现实世界的攻击。
Patel 强调,由于 AI 模型会随时间变化,持续的 AI 验证是必要的。
"因为模型会随着新数据而演变,它们的行为可能会改变。我们建立了一个持续验证服务,以检测变化并实时更新保护措施。"
这凸显了行业对 AI 治理和监督的日益关注,因为企业正在寻求标准化方法来确保 AI 安全。
行业背景和未来影响
Cisco 的 AI Defense 发布之际,企业安全供应商正在扩大对 AI 安全的关注。Microsoft、Google 和 OpenAI 等公司已推出 AI 安全计划,而专注于 AI 模型安全和合规性的初创公司也正在获得发展势头。
AI 安全发展的下一阶段可能涉及安全供应商、AI 模型提供商和监管机构等行业利益相关者的合作。Patel 表示,Cisco 的 AI 安全战略旨在成为这个更广泛生态系统的一部分,而不是独立的解决方案。
"我们希望成为 AI 生态系统的一部分,而不是各自为政。客户需要了解 AI 基础设施、安全性和安全性如何协同工作。"
"要建立对 AI 的信任,其安全性必须与其潜力相匹配,"NetApp 高级副总裁兼总经理 Krish Vitaldevara 表示同意。"科技生态系统必须致力于为企业提供安全、可扩展的解决方案,确保 AI 的开发、部署和使用既符合创新又符合责任。"
随着 AI 应用继续扩展,预计企业将优先考虑能够在不减缓创新的同时保护 AI 应用的安全解决方案。Cisco 的 AI Defense 标志着该公司在这一不断发展的领域中定位自己的最新努力。
好文章,需要你的鼓励
美国连锁超市巨头Albertsons正在基于Databricks构建商品智能平台,整合产品、定价、促销与陈列等决策功能,目标是在2026年底前全面向门店运营商落地。该平台以Databricks Lakehouse存储零售数据,通过Unity Catalog与AI Gateway实现数据治理,并借助AI智能体Genie支持自然语言查询,帮助商家洞察销售趋势,提升决策效率。此举是Albertsons今年四项AI核心战略投资之一。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
微软正将Windows 11打造成真正的AI操作系统。在Build大会上,微软展示了AI模型与智能代理如何深度融合进Windows 11,让用户通过自然语言完成系统操作。借助Windows ML框架,超过5亿台PC已可在本地离线运行AI任务,无需联网、无token费用、数据不离设备。Office、Photos、Teams等应用已支持本地AI能力,Adobe、WhatsApp、Canva等第三方也在积极跟进,企业级AI PC采购需求有望加速。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。