微软公司人工智能红队日前发布了一份新的白皮书。白皮书阐述了生成式人工智能系统在安全和安保方面的挑战以及应对新兴风险的策略。
微软人工智能红队成立于 2018 年,旨在应对不断变化的人工智能安全和安保风险。微软人工智能红队的主要工作是识别漏洞和减轻漏洞风险,将传统的安全实践和负责任的人工智能措施相结合。
新白皮书题为“红队测试100款生成式人工智能产品的反思”。白皮书指出,生成式人工智能引入的新漏洞会放大现有的安全风险,降低新漏洞风险需要多方面的应对策略。白皮书提到,应对从传统网络安全缺陷到新型人工智能在内的等各种特定威胁,都需要人类专业知识、持续测试和协作,白皮书强调了这一点的重要性。
白皮书报告详细阐述了三个主要结论,第一个结论是,生成式人工智能系统会放大现有的安全风险和新的风险。白皮书报告发现,生成式人工智能模型引入了新的网络攻击向量,同时放大了现有的漏洞。
在生成式人工智能中,过时的软件组件或不当的错误处理等传统安全风险仍然是关键问题,此外,提示词注入等模型层次的弱点也为人工智能系统带来了独特的挑战。
在一个案例研究中,微软人工智能红队发现某视频处理AI应用中过时的FFmpeg组件导致了服务器端请求伪造攻击,这表明人工智能驱动的解决方案中仍然存在遗留的问题。报告指出,“人工智能红队敏锐察觉新的网络攻击向量,同时对现有的安全风险保持警惕。人工智能安全最佳实践应包括基本的网络卫生措施。”
第二个结论为,人类是改进和保障人工智能安全的核心。第二个结论指出,尽管自动化工具在创建提示词、协调网络攻击和评分响应方面非常有用,但红队工作无法完全自动化,人工智能红队工作严重依赖人类专业知识。
白皮书认为,主题专家在人工智能红队中扮演着至关重要的角色,这些专家能够评估医学、网络安全和化学、生物、放射及核相关等专业领域的内容,而自动化则通常难以胜任这些领域的工作。尽管语言模型可以识别仇恨言论或露骨内容等一般风险,但这些模型难以评估一些特定细微的领域特定问题,因此人工监督对于确保全面的风险评估至关重要。
主要基于英语数据训练的人工智能模型往往无法捕捉不同语言或文化背景下的风险和敏感性。同样,聊天机器人与处于困境中的用户的互动可能导致一些社会心理伤害,探讨这类问题时,要了解这种互动的广泛含义和潜在影响也需要人类的判断。
第三个结论为,深度防御是确保人工智能系统安全的关键。第三个结论指出,要降低生成式人工智能的风险需要采取一种多层次的方法,多层次方法将持续测试、强大的防御措施和自适应策略结合在一起。
白皮书报告指出,虽然缓解措施可以减少漏洞,但无法完全消除风险,因此持续的红队工作是加强人工智能系统的关键组成部分。微软的研究人员表示,企业采取反复识别和解决漏洞等措施可以提高攻击成本,从而威慑对手,并提高人工智能系统的整体安全态势。
好文章,需要你的鼓励
Zoom发布全新智能代理AI功能,旨在帮助用户在工作中节省时间。新的自定义AI助手插件可连接16多个第三方应用,无需离开Zoom界面。该AI助手现已支持在线购买并可集成到微软Teams和谷歌Meet等第三方会议平台。智能代理AI能够独立运行,自动执行任务、收集数据并达成目标。新功能包括日程管理、会议录制剪辑生成、文档创作辅助等,月费12美元。
加州大学伯克利分校研究团队开发出革命性的R2R2R系统,仅需智能手机拍摄和一段演示视频,就能自动生成大量机器人训练数据。该系统绕过了传统昂贵的远程操作和复杂物理仿真,通过3D重建和智能轨迹生成技术,让机器人训练效率提升27倍,成本大幅降低,有望让高质量机器人技能变得像安装手机应用一样普及。
YouTube准备更新政策,打击创作者从"非真实"内容中获利的能力,包括批量生产视频和其他重复性内容。7月15日,公司将更新YouTube合作伙伴计划货币化政策,提供更详细的指导原则。随着AI技术的兴起,YouTube充斥着AI生成的低质量内容,包括AI语音配音、虚假新闻视频等。尽管YouTube将此称为"小幅更新",但实际上是为了应对AI内容泛滥对平台声誉和价值的潜在损害。
腾讯优图实验室提出AnoGen方法,仅用3张异常图片就能训练出高精度工业检测AI。该方法通过扩散模型学习异常特征并生成大量逼真样本,在MVTec数据集上将检测精度提升5.8%,为解决工业异常检测中样本稀缺问题提供了突破性方案。