随着人工智能在各行各业的应用加速普及,与 AI 应用相关的安全风险正成为企业的重要关注点。为此,Cisco 推出了 AI Defense 安全解决方案,旨在通过整合企业网络和云环境中的可视性、验证和执行能力,帮助组织确保其 AI 部署的安全性。
在企业寻求将 AI 整合到运营中时,AI 安全性正成为重中之重。Cisco 执行副总裁兼首席产品官 Jeetu Patel 表示,企业普遍认识到 AI 安全是企业采用 AI 的关键因素。
"我们从客户那里听到一个普遍的担忧:如果这些系统出现偏差,不按预期运行怎么办?我们如何防止应用程序被提示注入攻击所破坏或被操纵泄露敏感数据?"Patel 说道。
企业 AI 部署面临的安全挑战
AI 模型会随着新数据的训练而不断演变,其运行方式难以预测。这带来了包括模型操纵、提示注入攻击和数据泄露等安全风险。此外,AI 安全还缺乏类似网络安全领域常见漏洞和暴露数据库那样的标准化框架。
Cisco AI Defense 致力于解决的问题之一是 AI 模型验证。如果被攻击,AI 系统可能会产生意外或有害的输出,因此持续的安全监控至关重要。
"典型的模型提供商需要 7-10 周时间来手动验证一个 AI 模型。我们通过运行数万亿次自动化测试查询,在 30 秒内就能完成验证——比任何人工方法都更快地检测出偏差、漏洞和潜在的攻击点。"Patel 解释道。
这种方法类似于网络安全中的模糊测试,旨在在攻击者利用漏洞之前发现它们。
Cisco AI Defense 的主要特点
Cisco AI Defense 旨在实现 AI 工作流程的安全整合。该解决方案主要在三个层面运作:
可视性和监控 - 识别企业中使用的 AI 应用 - 绘制 AI 模型、数据源和应用程序之间的交互图 - 持续监控异常或未授权使用
验证和 AI 红队测试 - 使用算法红队测试——自动化 AI 测试——识别安全风险 - 检测偏见、有害内容和潜在攻击向量等问题 - 相比手动测试方法大幅缩短模型验证时间
执行和防护机制 - 应用安全策略防止 AI 滥用 - 实施自动化控制限制未授权模型访问 - 扩展到 Cisco 现有安全架构的安全执行
Cisco 表示,AI Defense 将与其更广泛的安全平台集成,使组织能够在其网络、云和终端基础设施中应用 AI 安全策略。
与安全和网络平台的集成
与独立的 AI 安全工具不同,Cisco AI Defense 将作为其现有安全产品组合的一部分运行。该公司表示,该解决方案将扩展到 Cisco 安全访问、安全防火墙和网络基础设施,以提供多层级的策略执行。
"如果 AI 安全被构建在网络结构中,执行不仅发生在软件层面,还发生在基础设施层面。这是关键优势,"Patel 指出。
据 Cisco 称,这种方法允许组织在应用程序和网络层面同时应用 AI 安全,降低管理 AI 特定安全风险的复杂性。
应对更广泛的 AI 安全挑战
Cisco 的公告突显了一个更广泛的行业挑战:AI 安全仍是一个新兴领域,缺乏通用的威胁检测和缓解框架。最近的事件引发了对 AI 滥用的担忧,比如有人使用生成式 AI 模型生成有害内容或协助实施现实世界的攻击。
Patel 强调,由于 AI 模型会随时间变化,持续的 AI 验证是必要的。
"因为模型会随着新数据而演变,它们的行为可能会改变。我们建立了一个持续验证服务,以检测变化并实时更新保护措施。"
这凸显了行业对 AI 治理和监督的日益关注,因为企业正在寻求标准化方法来确保 AI 安全。
行业背景和未来影响
Cisco 的 AI Defense 发布之际,企业安全供应商正在扩大对 AI 安全的关注。Microsoft、Google 和 OpenAI 等公司已推出 AI 安全计划,而专注于 AI 模型安全和合规性的初创公司也正在获得发展势头。
AI 安全发展的下一阶段可能涉及安全供应商、AI 模型提供商和监管机构等行业利益相关者的合作。Patel 表示,Cisco 的 AI 安全战略旨在成为这个更广泛生态系统的一部分,而不是独立的解决方案。
"我们希望成为 AI 生态系统的一部分,而不是各自为政。客户需要了解 AI 基础设施、安全性和安全性如何协同工作。"
"要建立对 AI 的信任,其安全性必须与其潜力相匹配,"NetApp 高级副总裁兼总经理 Krish Vitaldevara 表示同意。"科技生态系统必须致力于为企业提供安全、可扩展的解决方案,确保 AI 的开发、部署和使用既符合创新又符合责任。"
随着 AI 应用继续扩展,预计企业将优先考虑能够在不减缓创新的同时保护 AI 应用的安全解决方案。Cisco 的 AI Defense 标志着该公司在这一不断发展的领域中定位自己的最新努力。
好文章,需要你的鼓励
Docker公司通过增强的compose框架和新基础设施工具,将自己定位为AI智能体开发的核心编排平台。该平台在compose规范中新增"models"元素,允许开发者在同一YAML文件中定义AI智能体、大语言模型和工具。支持LangGraph、CrewAI等多个AI框架,提供Docker Offload服务访问NVIDIA L4 GPU,并与谷歌云、微软Azure建立合作。通过MCP网关提供企业级安全隔离,解决了企业AI项目从概念验证到生产部署的断层问题。
中科院联合字节跳动开发全新AI评测基准TreeBench,揭示当前最先进模型在复杂视觉推理上的重大缺陷。即使OpenAI o3也仅获得54.87%分数。研究团队同时提出TreeVGR训练方法,通过要求AI同时给出答案和精确定位,实现真正可追溯的视觉推理,为构建更透明可信的AI系统开辟新路径。
马斯克的AI女友"Ani"引爆全球,腾讯RLVER框架突破情感理解边界:AI下半场竞争核心已转向对人性的精准把握。当技术学会共情,虚拟陪伴不再停留于脚本应答,而是通过"心与心的循环"真正理解人类孤独——这背后是强化学习算法与思考模式的化学反应,让AI从解决问题转向拥抱情感。
PyVision是上海AI实验室开发的革命性视觉推理框架,让AI系统能够根据具体问题动态创造Python工具,而非依赖预设工具集。通过多轮交互机制,PyVision在多项基准测试中实现显著性能提升,其中在符号视觉任务上提升达31.1%。该框架展现了从"工具使用者"到"工具创造者"的AI能力跃迁,为通用人工智能的发展开辟了新路径。