未来,只有AI驱动的企业与其他企业。
然而随着AI技术的不断渗透,企业就需要在基础设施、数据和应用程序的三层架构中,增加AI这一全新层次,这也产生了如何保证AI应用安全性的新问题。
在网络安全领域,AI对抗AI已成为共识。思科亚太、日本及大中华区总裁Dave West认为,随着世界变化加速,我们必须迅速行动,但不能以牺牲安全为代价追求速度,也不能为了确保安全而牺牲速度。
速度与安全如何兼得?
“模型是非确定性的、动态的,这就会创造出新的风险向量。”思科亚太、日本及大中华区网络销售和解决方案工程副总裁Raymond Janse van Rensburg谈到,当模型崩溃时,可能会发生严重的问题,这就需要对模型和应用程序进行保护。
AI应用面临的风险主要包括Safety(安全)和Security(保障)两大类。Safety涉及模型的“毒性”问题,例如偏差注入,意味着模型未能按预期执行任务或行为;Security则聚焦于保护模型免受外部攻击,如攻击者试图改变模型行为,随着攻击手段不断演变,如何有效保护模型变得愈加复杂。
如今,企业需要一个集成的安全平台,而不是哪里漏了堵哪里的单点解决方案。近期思科发布了思科人工智能防御系统(Cisco AI Defense),帮助企业AI转型过程中,可以在确保安全的同时实现无缝创新。
思科人工智能防御系统(Cisco AI Defense)
思科人工智能防御系统的主要目标是简化AI管理,重点解决两个核心问题,第一,确保AI应用的访问安全:保护用户、员工以及使用应用程序的人员(例如ChatGPT等AI工具用户)的安全;第二,开发与部署安全的AI应用:确保AI应用程序开发者在构建和开发智能体时能够获得必要的安全保障。
思科全球人工智能软件和平台副总裁DJ Sampath强调,思科人工智能防御系统首先可以为员工使用AI应用程序时提供完整的可视化,了解员工使用的未授权和已授权的AI应用;其次,通过实施访问控制策略,限制员工对未授权AI工具的访问;最后,持续防范威胁和数据泄露,确保合规性和机密数据的保护。
同样开发者也需要一套适用于所有应用的AI安全防护措施,思科人工智能防御系统则可以满足AI检测、模型验证、运行时安全。
AI检测:安全团队需要了解构建应用的主体以及其使用的训练源。思科人工智能防御系统能够在公有云和私有云中检测到未授权和已授权的AI应用。
模型验证:模型调整可能导致有害或意外结果。思科人工智能防御系统的自动化测试可检查人工智能模型中数百种潜在的安全问题。这支由人工智能驱动的算法红队能够识别潜在漏洞,并为安全团队推荐思科人工智能防御系统中的防护措施。
运行时安全:持续验证能够防范潜在的安全威胁,如提示注入、拒绝服务和敏感数据泄露等。
与单一AI模型中的安全措施不同,思科人工智能防御系统提供适用于多模型环境的一致性控制。该系统具备自我优化能力,基于思科独有的机器学习模型,并结合Talos威胁情报数据,实时识别和应对不断演变的AI安全挑战。使用思科人工智能防御系统的Splunk客户,将接收到来自整个生态系统的丰富警报。
同时,思科人工智能防御系统能够无缝集成现有的数据流,提供卓越的可视化与控制力,并深度融入思科推出的统一化、由人工智能驱动的跨领域安全平台——思科安全云。
DJ Sampath表示,如果企业只是保护应用程序,5分钟内即可部署AI云可视性解决方案,如果需保护员工,使用思科安全访问解决方案即可轻松实现。无论是使用AI应用还是开发AI应用,思科都能提供无缝的工具支持。
思科一直与合作伙伴在安全领域保持紧密合作,97%的业务来自于合作伙伴。未来,思科将继续与情报合作伙伴协作,进一步增强人工智能防御系统的能力。同时,思科正将所有解决方案整合到“思科安全云”控制台,MSP可以通过该控制台配置和管理所有安全功能,从而提升服务能力。
Dave West最后呼吁,CIO们应认识到人工智能防御、可视性和可观察性是未来成功的基础,这些因素将决定企业在AI时代的竞争力与安全性。
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。